Você está aqui: Página Inicial curitiba Estrutura do Câmpus Diretorias Diretoria de Pesquisa e Pós-Graduação Mestrado e Doutorado CPGEI Edital de Defesas 2016 CPGEI (Mestrado): André Filipe Roos-29/08/16

CPGEI (Mestrado): André Filipe Roos-29/08/16

Defesa Pública de Mestrado do Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
Quando 29/08/2016
das 14h00 até 17h00
Onde Sede Central: Sala C-301
Nome do Contato Prof. Hugo Vieira Neto
Participantes Prof. Hugo Vieira Neto, Dr. Orientador - UTFPR
Banca examinadora:
Profa. Lúcia Valéria Ramos de Arruda, Dra. Presidente - UTFPR
Prof. Eduardo Todt, Dr. - UFPR
Prof. Gustavo Benvenutti Borba, Dr. - UTFPR
Examinador Suplente: Prof. Guilherme Alceu Schneider, Dr. - UTFPR
Adicionar evento ao calendário vCal
iCal

Controle de fixação atentivo para uma cabeça robótica com visão binocular

Resumo: A pesquisa em visão computacional ainda está distante de replicar a adaptabilidade e o desempenho do Sistema Visual Humano. Grande parte das técnicas consolidadas são válidas apenas em cenas estáticas e condições restritivas. Cabeças robóticas representam um avanço em flexibilidade, pois carregam câmeras que podem ser movimentadas livremente para a exploração dos arredores. A observação artificial de um ambiente dinâmico exige a solução de pelo menos dois problemas: determinar quais informações perceptuais relevantes extrair dos sensores e como controlar seu movimento para mudar e manter a fixação de alvos com forma e movimento arbitrários. Neste trabalho, um sistema de controle de fixação binocular geral é proposto, e o subsistema responsável pela seleção de alvos e fixação de deslocamentos laterais é projetado, experimentado e avaliado em uma cabeça robótica com quatro graus de liberdade. O subsistema emprega um popular modelo de atenção visual de baixo nível para detectar o ponto mais saliente da cena e um controlador proporcional-integral gera um movimento conjuntivo das duas câmeras para centralizá-lo na imagem da câmera esquerda, assumida como dominante. O desenvolvimento do sistema envolveu primeiramente a modelagem física detalhada do mecanismo de pan e tilt das câmeras. Então, a estrutura linearizada obtida foi ajustada por mínimos quadrados aos dados experimentais de entrada-saída. Por fim, os ganhos do controlador foram sintonizados por otimização e ajuste manual. A implementação em C++ com a biblioteca OpenCV permitiu operação em tempo real a 30 Hz. Experimentos demonstram que o sistema é capaz de fixar alvos estáticos e altamente salientes sem conhecimento prévio ou fortes suposições. Alvos em movimento harmônico são perseguidos naturalmente, embora com defasamento. Em cenas visualmente densas, onde múltiplos alvos em potencial competem pela atenção, o sistema pode apresentar comportamento oscilatório, exigindo o ajuste fino dos pesos do algoritmo para operação suave. A adição de um controlador para o pescoço e de um controlador de vergência para a compensação de deslocamentos em profundidade são os próximos passos rumo a um observador artificial genérico.
Palavras-chave: Visão Robótica. Controle de Fixação. Atenção Visual. Controle Atentivo.

Attentive gaze control for a binocular robot head

Abstract: Computer vision research is still far from replicating the adaptability and performance of the Human Visual System. Most of its consolidated techniques are valid only over static scenes and restrictive conditions. Robot heads represent an advance in terms of flexibility by carrying cameras that can be freely moved to explore the surroundings. Artificial observation of dynamic environments requires the solution of at least two problems: to determine what is the relevant perceptual information to be extracted from the sensors and how to control their movement in order to shift and hold gaze on targets featuring arbitrary shapes and motions. In this work, a general binocular gaze control system is proposed, and the subsystem responsible for targeting and following lateral displacements is designed, tested and assessed in a four degrees-of-freedom robot head. The subsystem employs a popular low-level visual attention model to detect the most salient point in the scene, and a proportional-integral controller generates a conjunctive movement of the cameras to center it in the left camera image, assumed to be dominant. The development started with a detailed physical modeling of the pan and tilt mechanism that drives the cameras. Then, the linearized structure obtained was fitted via least squares estimation to experimental input-output data. Finally, the controller gains were tuned by optimization and manual adjustment. The OpenCV-based implementation in C++ allowed real-time execution at 30 Hz. Experiments demonstrate that the system is capable of fixating highly salient and static targets without any prior knowledge or strong assumptions. Targets describing harmonic motion are naturally pursued, albeit with a phase shift. In cluttered scenes, where multiple potential targets compete for attention, the system may present oscillatory behavior, requiring fine adjustment of algorithm weights for smooth operation. The addition of a controller for the neck and a vergence controller to compensate for depth displacements are the next steps towards a generic artificial observer.
Keywords: Robot Vision. Gaze Control. Visual Attention. Attentive Control.

Lista de publicações:

ROOS, André F.; VIEIRA NETO, Hugo. Towards Saliency-based Gaze Control in a Binocular Robot Head. In: Simpósio de Processamento de Sinais da UNICAMP, 2015, Campinas. Anais do VI Simpósio de Processamento de Sinais da UNICAMP. Campinas: Universidade Estadual de Campinas, 2015.

Ações do documento