[en] AN EVALUATION OF BIMODAL RECOGNITION SYSTEMS BASED ON VOICE AND FACIAL IMAGES

[pt] UMA AVALIAÇÃO DE MÉTODOS DE FUSÃO PARA SISTEMAS BIMODAIS DE RECONHECIMENTO BASEADOS EM VOZ E IMAGENS FACIAIS

[pt] ABEL SEBASTIÁN SANTAMARINA MACIÁ

[pt] FUSAO DE ESCORES BASEADA EM DENSIDADE

[pt] LBP

[pt] I-VECTOR

[pt] GMMUBM

[pt] FUSAO DE ESCORES BASEADAS EM CLASSIFICADORES

[pt] FUSAO DE ESCORES BASEADA EM TRANSFORMACAO

[pt] Esta dissertação tem como objetivo avaliar os métodos de fusão de escores mais importantes na combinação de dois sistemas uni-modais de reconhecimento em voz e imagens faciais. Para cada sistema uni-modal foram implementadas duas técnicas de classificação: o GMM/UBM e o I-Vetor/GPLDA para voz e o GMM/UBM e um classificador baseado em LBP para imagens faciais. Estes sistemas foram combinados entre eles, sendo 4 combinações testadas. Os métodos de fusão de escores escolhidos se dividem em três grupos: Fusão baseada em densidade, fusão baseada em transformação e fusão baseada em classificadores, e foram testadas algumas variantes para cada grupo. Os métodos foram avaliados em modo de verificação, usando duas bases de dados, uma base virtual formada por duas bases uni-modais e outra base bimodal. O resultado de cada técnica bimodal empregada foi comparado com os resultados das técnicas uni-modais, percebendo-se ganhos significativos na acurácia de reconhecimento. As técnicas de fusão baseadas em densidade mostraram os melhores resultados entre todas as outras técnicas, mais apresentaram uma maior complexidade computacional por causa do processo de estimação da densidade.

[en] The main objective of this dissertation is to compare the most important approaches for score-level fusion of two unimodal systems consisting of facial and independent speaker recognition systems. Two classification methods for each biometric modality were implemented: a GMM/UBM and an I-Vector/GPLDA classifiers for speaker independent recognition and a GMM/UBM and LBP-based classifiers for facial recognition, resulting in four different multimodal combination of fusion explored. The score-level fusion methods investigated are divided in Density-based, Transformation-based and Classifier-based groups and few variants on each group are tested. The fusion methods were tested in verification mode, using two different databases, one virtual database and a bimodal database. The results of each bimodal fusion technique implemented were compared with the unimodal systems, which showed significant recognition performance gains. Density-based techniques of fusion presented the best results among all fusion approaches, at the expense of higher computational complexity due to the density estimation process.

RAUL QUEIROZ FEITOSA

RAUL QUEIROZ FEITOSA

ALVARO DE LIMA VEIGA FILHO

KARLA TEREZA FIGUEIREDO LEITE

2017-03-07

2016-05-20

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=29315@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=29315@2

https://doi.org/10.17771/PUCRio.acad.29315