Aviso: Você está visitando a nossa página antiga, por isso algumas informações podem estar desatualizadas.

Para saber mais sobre a Instituição, acesse o novo Portal da UTFPR

Você está aqui: Página Inicial curitiba Estrutura do Câmpus Diretorias Diretoria de Pesquisa e Pós-Graduação Mestrado e Doutorado CPGEI Edital de Defesas 2018 CPGEI (Doutorado): Manassés Ribeiro - 05/03/18

CPGEI (Doutorado): Manassés Ribeiro - 05/03/18

Defesa Pública de Doutorado do Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
Quando 05/03/2018
das 13h00 até 16h00
Onde Sede Central: Sala de videoconferência
Nome do Contato Prof. Heitor Silvério Lopes
Participantes Prof. Heitor Silvério Lopes, Dr. Orientador - UTFPR
Prof. André Eugênio Lazzaretti, Dr. Co-orientador - UTFPR
Banca examinadora:
Prof. Heitor Silvério Lopes, Dr. Presidente - UTFPR
Prof. Eros Comunello, Dr. - UNIVALI
Prof. Carlos Eduardo Thomaz, Dr. - FEI
Prof. Luiz Eduardo Soares de Oliveira, Dr. - UFPR
Prof. Hugo Vieira Neto, Dr. - UTFPR
Examinador Suplente:
Prof. Hugo Alberto Perlin, Dr. - IFPR
Adicionar evento ao calendário vCal
iCal
Métodos de Deep Learning para a detecção de anomalias em vídeos: contribuições teóricas e metodológicas

Resumo: A detecção de anomalias em vídeos de segurança é um tópico recorrente de pesquisa em visão computacional. Recentemente, os métodos de Deep Learning (DL) atingiram estado da arte para o reconhecimento de objetos. O Autoencoder Convolucional (CAE), que é capaz de capturar estruturas 2D em sequências de imagens, é uma das abordagens mais utilizadas. Os seres humanos são muito competentes para combinar diferentes características com o objetivo de interpretar o significado de um vídeo. Assim, estudou-se o efeito da fusão de informações de alto nível junto com os dados brutos, visando aumentar o desempenho de classificação. Além disso, os métodos DL podem ter seu desempenho influenciado pela complexidade espacial do vídeo. Em problemas de classificação de uma classe (OCC), o classificador é treinado apenas com amostras da classe normal. A representação da classe normal no espaço de características é uma questão importante, onde um ou mais agrupamentos podem descrever diferentes aspectos da normalidade. Para fins de classificação, é importante que esses agrupamentos sejam tão compactos quanto possível. Este trabalho propõe o uso de um CAE para detecção de anomalias em vídeos. Também propomos um método para agregar características espaciais e temporais de alto nível junto com os frames e investigar como eles afetam o desempenho do CAE. Além disso, uma medida de complexidade espacial foi sugerida e correlacionada com o desempenho de classificação do CAE. Também é introduzido o Autoencoder Convolucional com Incorporação Compacta (CAE-CE), para aumentar a compacidade dos agrupamentos normais. Devido à dificuldade de determinar o momento para interromper o processo de aprendizagem em classificadores de OCC, de modo a evitar uma super compressão de exemplos normais, resultando em sobreajustamento, foi introduzido um novo critério de parada baseado na sensibilidade. Os métodos propostos foram avaliados utilizando dados públicos e comparados com abordagens estado da arte. Outros dois novos benchmarks para detecção de anomalia em vídeos são apresentados. O CAE mostrou-se promissor como um método para detectar anomalias nos vídeos. Para todos os conjuntos de dados testados, os resultados melhoraram quando características de aparência foram incluídas aos dados brutos. Para os vídeos analisados, quanto mais complexos eram, melhores foram os resultados obtidos pelo CAE. Os resultados sugerem que a compacidade obtida pelo CAE-CE melhora o desempenho de classificação. Os frames foram qualitativamente analisados no nível visual, indicando que as características aprendidas por ambos os métodos (CAE e CAE-CE) estão correlacionados aos eventos anormais que ocorrem nos frames. De fato, ainda há muito a ser feito para se obter uma definição mais geral e formal de normalidade/anomalia, no sentido de ajudar pesquisadores a conceberem métodos computacionais mais eficientes na interpretação semântica das cenas. Não obstante, acredita-se que ambas as contribuições teóricas e metodológicas deste trabalho podem ser aplicadas aos problemas de detecção de anomalia no mundo real.

Palavras-chave: Detecção de anomalia; Autoencoder Convolucional; Representação compacta

Deep Learning Methods for Detecting Anomalies in Videos: Theoretical and Methodological Contributions

Abstract: The detection of anomalous behaviors in automated video surveillance is a recurrent topic in recent computer vision research. Recently, Deep Learning (DL) methods have achieved state-of-the-art performance for object recognition. Particularly, the Convolutional Autoencoder (CAE) is one of the most frequently used approach, which is capable of capturing the 2D structure of image sequences. Humans are very competent to combine intuitively different features in order to interpret the meaning of a video. Hence, the effect of fusing high level information together with the raw data was studied, aiming at increasing the performance of a classifier. DL methods, such as CAE, may have their performance influenced the underlying spatial complexity of a video. In One-Class Classification (OCC) problems, the classifier is trained with samples of the normal class. The representation of the normal class in the feature space is an important issue, in which one or more clusters can describe different aspects of normality. For classification purposes, it is important that these clusters are as compact as possible. This work proposes the use of a CAE for anomaly detection in videos. We also propose a method for aggregating high-level spatial and temporal features with the input frames and investigate how they affect the CAE performance. Additionally, an easy-to-use measure of video spatial complexity was devised and correlated with the classification performance of the CAE. Also, this work introduces the Convolutional Autoencoder with Compact Embedding (CAE-CE), for enhancing the compactness of normal clusters in the feature space. Due to the difficulty to determine the moment to interrupt the learning process in OCC classifiers, so as to avoid over-compression of normal examples, resulting in overfitting, a novel stopping criterion based on sensitivity was introduced. The proposed methods were evaluated using publicly available datasets and it was compared with state-of-the-art approaches. We also introduced other two new benchmarks, designed for video anomaly detection in highways. CAE was shown to be promising as a method for detecting anomalies in videos. For all datasets tested, results were improved when appearance features were included in the raw data. For the datasets analyzed the more complex, the better the results obtained by CAE. Results suggest that the enhanced compactness introduced by the CAE-CE improved the classification performance for most datasets. Frames were qualitatively analyzed at the visual level, indicating that features extracted by both methods (CAE and CAE-CE) are closely correlated to the anomalous events occurring in the frames. In fact, there is much yet to be done towards a more general and formal definition of normality/anomaly, so as to support researchers to devise efficient computational methods to mimetize the semantic interpretation of visual scenes by humans. Notwithstanding, it is believed that both, theoretical and methodological contributions of this work, can be promptly applied to anomaly detection problems in the real-world.
Keywords: Anomaly Detection; Convolutional Autoencoder; Compact Representation

Lista de publicações:

RIBEIRO, M.; LAZZARETTI, A. E.; LOPES, H. S. A study of deep convolutional auto-encoders for anomaly detection in videos. PATTERN RECOGNITION LETTERS. , 2017. Doi: http://dx.doi.org/10.1016/j.patrec.2017.07.016

GUTOSKI, M.; RIBEIRO, M.; AQUINO, N.M.R.; LAZZARETTI, A. E.; LOPES, H. S. A Clustering-Based Deep Autoencoder for One-Class Image Classification In: IEEE Latin American Conference on Computational Intelligence, 2017, Arequipa. In press in the LA-CCI IEEE conference. , 2017.

GUTOSKI, M.; AQUINO, N.M.R.; RIBEIRO, M.; LAZZARETTI, A. E.; LOPES, H. S. Detection of Video Anomalies Using Convolutional Autoencoders and One-Class Support Vector Machines In: XIII Brazilian Congress on Computational Intelligence, 2017, Niterói, RJ. Anais do XIII CBIC. , 2017.

RIBEIRO, M.; LOPES, H. S. Image Segmentation Methods. In: Mehdi Khosrow-Pour. (Org.). Encyclopedia of Information Science and Technology, Third Edition. 3ed.Pennsylvania: IGI Global, 2014, v. , p. 5947-5956.

Ações do documento