CPGEI (Mestrado) Wellton Costa de Oliveira

Avaliação do Instrumento SAM Para a Etiquetagem de Atributos Afetivos de Imagens em Ambiente Web
Resumo: Em uma recuperação de imagens a partir de critérios semânticos a especificação da busca pode ocorrer em diferentes níveis. A especificação “encontre imagens contendo um barco”, por exemplo, pode ser considerada simples e objetiva se comparada com “encontre imagens ilustrando um clima alegre”, nitidamente mais subjetiva e abstrata e difícil de ser capturada a partir dos atributos de baixo nível da imagem. Em geral, este nível abstrato refere-se ao conteúdo afetivo ou emocional e mostra-se bastante relevante no contexto da recuperação de imagens. Um método amplamente aceito na psicologia para a captura dos atributos afetivos de imagens é o baseado na escala diferencial de valência (agradável-desagradável) e alerta (agitado-calmo), juntamente com o instrumento cognitivo ou experiencial subjetivo Self Assessment Manikin (SAM). Neste trabalho, apresenta-se uma avaliação do instrumento SAM para a etiquetagem de imagens segundo critérios afetivos em ambiente web. Para isso, foi desenvolvida uma ferramenta denominada Get Your Mood (GYM) (http://getyourmood.com) que utiliza a metáfora de um teste de humor para estimular a curiosidade do usuário e obter um grande número de voluntários para as marcações de valência e alerta. Foram coletadas 80 marcações para cada uma das 40 imagens pré-selecionadas da biblioteca International Affective Picture System (IAPS). As análises estatísticas demonstraram que não há diferença significativa entre os valores médios de valência e alerta do IAPS e aqueles obtido a partir do GYM. Isto indica que, embora utilizado em um meio e em condições diferentes daquelas estabelecidas no protocolo de uso original, o instrumento SAM mantem-se válido. Assim, pode-se concluir que as dimensões valência e alerta, em conjunto com o instrumento SAM, podem ser explorados como um recurso eficiente para a etiquetagem de imagens segundo critérios afetivos em ambiente web. Além disso, foi desenvolvido um banco com 104 imagens e coletadas 50 marcações de valência e alerta para cada uma. Ao contrário do IAPS, o banco desenvolvido, denominado Open Affective Images (OPAFI), pode ter suas imagens divulgadas publicamente, o que constitui um recurso interessante para pesquisas na área.
Palavras-chave: Etiquetagem afetiva, recuperação de imagem, valência/alerta, SAM, IAPS

An Evaluation of the SAM Instrument for the Affective Tagging of Images in the Web
Abstract: In an image retrieval system, concerning to the images semantics, several levels of query can emerge, from simple statements as “find pictures with a boat” to more abstract ones, such as “find pictures depicting happy atmospheres”. Usually, the abstract level refers to the affective or emotional content of the images and is considered a relevant dimension in which users specify their queries. Clearly, due to its inherent complexity, affect is difficult to model and consequently quite difficult to be handled by a retrieval system. A broadly accepted method by the psychology to capture the images affective attributes is the one based on the differential scales of valence (pleased-unpleased) and arousal (calm-excited), associated with the Self Assessment Manikin (SAM) instrument. In this work, we present an evaluation of the SAM instrument in the context of the image tagging, operating in a web environment. To perform these studies and capture as many as possible users’ tags, we developed a live web application named Get Your Mood (GYM) (http://getyourmood.com). The GYM employs the metaphor of a mood test in order to stimulate and attract the users to execute the valence/arousal tagging. Approximately 80 tags were collected for each of the 40 selected images from the image database International Affective Picture System (IAPS). The statistical analysis indicated that there is no significant difference between the IAPS valence/arousal mean values and the valence/arousal mean values obtained with the GYM. This fact provides evidences that the SAM instrument remains effective, in spite of the application under distinct conditions if compared to those claimed in its traditional protocol. Thus, it is possible to conclude that the valence/arousal dimensions, associated with the SAM instrument, can be explored as an efficient approach to the affective tagging of images in the web. In addition, we developed a database with 104 images and 50 valence/arousal tags were collect for each one. In opposite to the IAPS, the images of this novel database, named Open Affective Images (OPAFI), can be easily obtained and published without restrictions. Hence, the OPAFI database and the associated affective scores are interesting resources to other researchers, both from the computer vision or psychology communities.
Keywords: Affective tagging, image retrieval, valence/arousal, SAM, IAPS
Lista de publicações:
Costa, W. C., Cantieri, A. R., Borba, G. B., Gamba, H. R. Avaliação do Instrumento SAM para a Etiquetagem Colaborativa em Ambiente Web de Imagens Segundo Critérios Afetivos. In: Simpósio Brasileiro de Sistemas Multimídia e Web - Webmedia, 2010, Belo Horizonte