[pt] CLASSIFICANDO IMAGENS COM PADRÕES INCERTOS: DAS PROPRIEDADES VISUAIS À IMPORTÂNCIA DA NARRATIVA

[en] CLASSIFYING IMAGES WITH UNCLEAR PATTERNS: FROM VISUAL FEATURES TO NARRATIVE IMPORTANCE

[pt] YAN MARTINS BRAZ GUREVITZ CUNHA

[pt] NARRATOLOGIA

[pt] PERSONAGENS DE ANIME

[pt] APRENDIZADO PROFUNDO

[pt] CLASSIFICACAO DE IMAGENS

[en] NARRATOLOGY

[en] ANIME CHARACTERS

[en] DEEP LEARNING

[en] IMAGE CLASSIFICATION

[pt] O campo de classificação de imagens tem sido bastante explorado há anos, em especial com o grande avanço de redes neurais da última década. No entanto, grande parte do foco tem sido dedicado a casos com grandes diferenças inter-classe e pequenas diferenças intra-classe. Neste trabalho exploramos o quão bem redes convolucionais lidam com casos com pequenas diferenças inter-classe e cujas classificações carregam um grau de subjetividade, torando não óbvia a relação entre features visuais e classifcação e diferenciando isso do campo tradicional de fine-grained classificaiton. Para isso, abordamos um caso específico deste problema: Determinar a importância narrativa de um personagem a partir somente de sua imagem. Avaliamos a performance de CNNs em nossa tarefa, usando um dataset que criamos para ela, e analisamos que padrões conseguimos encontrar no quis diz respeito da relação entre features visuais e classifcação. Mostramos que, especificamente para a tarefa que estudamos, CNNs conseguem superar a performance humana em termos de acurácia e, além disso, refletem vários dos padrões apresentados por humanos quando julgam personagens, até mesmos alguns padrões que não refletem a realidade. Isto significa que esse tipo de modelo pode ser um possível substiuto para avaliadores humanos para propósitos de character design.

[en] The field of image classification has been heavily explored for years, especially with the big advancements in deep neural networks seen in the last decade. However, most of the focus has been dedicated to cases with significant inter-class differences and minor intra-class differences. In this work we explore how well convolutional networks deal with cases with small inter-class differences and whose classification carries a degree of subjectivity, making non-obvious the relationship between visual features and classification and differentiating it from the traditional field of fine-grained classification. To do that, we approach a specific instance of this problem: Determining a character s narrative importance based solely on its image. We have evaluate the performance of different CNN models in our task, using a dataset we created for it, and we have analysed which patterns were found when it comes to the relationship between visual features and classification. We show that, for our specific task, CNNs are able to exceed human performance in pure accuracy and, more interestingly, mirror many of the patterns humans show when judging characters, even if some of those patterns are inaccurate. This means that this kind of model may be able to serve as a good surrogate for human evaluators when designing characters.

SERGIO COLCHER

ALBERTO BARBOSA RAPOSO

SERGIO COLCHER

ANTONIO JOSE GRANDSON BUSSON

2023-03-20

2023-02-16

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61995@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61995@2

https://doi.org/10.17771/PUCRio.acad.61995