XINFORMAÇÕES SOBRE DIREITOS AUTORAIS
As obras disponibilizadas nesta Biblioteca Digital foram publicadas sob expressa autorização dos respectivos autores, em conformidade com a Lei 9610/98.
A consulta aos textos, permitida por seus respectivos autores, é livre, bem como a impressão de trechos ou de um exemplar completo exclusivamente para uso próprio. Não são permitidas a impressão e a reprodução de obras completas com qualquer outra finalidade que não o uso próprio de quem imprime.
A reprodução de pequenos trechos, na forma de citações em trabalhos de terceiros que não o próprio autor do texto consultado,é permitida, na medida justificada para a compreeensão da citação e mediante a informação, junto à citação, do nome do autor do texto original, bem como da fonte da pesquisa.
A violação de direitos autorais é passível de sanções civis e penais.
As obras disponibilizadas nesta Biblioteca Digital foram publicadas sob expressa autorização dos respectivos autores, em conformidade com a Lei 9610/98.
A consulta aos textos, permitida por seus respectivos autores, é livre, bem como a impressão de trechos ou de um exemplar completo exclusivamente para uso próprio. Não são permitidas a impressão e a reprodução de obras completas com qualquer outra finalidade que não o uso próprio de quem imprime.
A reprodução de pequenos trechos, na forma de citações em trabalhos de terceiros que não o próprio autor do texto consultado,é permitida, na medida justificada para a compreeensão da citação e mediante a informação, junto à citação, do nome do autor do texto original, bem como da fonte da pesquisa.
A violação de direitos autorais é passível de sanções civis e penais.
Coleção Digital
Título: AVALIAÇÃO DE AJUSTE FINO EM MODELOS DE PONTA A PONTA PARA RECONHECIMENTO DE FALA Autor: JONATAS DOS SANTOS GROSMAN
Instituição: PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO - PUC-RIO
Colaborador(es):
HELIO CORTES VIEIRA LOPES - ORIENTADOR
Nº do Conteudo: 61086
Catalogação: 04/11/2022 Idioma(s): INGLÊS - ESTADOS UNIDOS
Tipo: TEXTO Subtipo: TESE
Natureza: PUBLICAÇÃO ACADÊMICA
Nota: Todos os dados constantes dos documentos são de inteira responsabilidade de seus autores. Os dados utilizados nas descrições dos documentos estão em conformidade com os sistemas da administração da PUC-Rio.
Referência [pt]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61086@1
Referência [en]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61086@2
Referência DOI: https://doi.org/10.17771/PUCRio.acad.61086
Resumo:
Título: AVALIAÇÃO DE AJUSTE FINO EM MODELOS DE PONTA A PONTA PARA RECONHECIMENTO DE FALA Autor: JONATAS DOS SANTOS GROSMAN
Nº do Conteudo: 61086
Catalogação: 04/11/2022 Idioma(s): INGLÊS - ESTADOS UNIDOS
Tipo: TEXTO Subtipo: TESE
Natureza: PUBLICAÇÃO ACADÊMICA
Nota: Todos os dados constantes dos documentos são de inteira responsabilidade de seus autores. Os dados utilizados nas descrições dos documentos estão em conformidade com os sistemas da administração da PUC-Rio.
Referência [pt]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61086@1
Referência [en]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61086@2
Referência DOI: https://doi.org/10.17771/PUCRio.acad.61086
Resumo:
Utilizar representações fornecidas por um grande modelo pré-treinado
tornou-se a principal estratégia para alcançar o estado da arte nas mais variadas
tarefas. Um grande modelo pré-treinado recentemente proposto, wav2vec
2.0, foi seminal para vários outros trabalhos sobre pré-treinamento de grandes
modelos em dados de fala. Muitos modelos estão sendo pré-treinados usando a
mesma arquitetura baseada em transformer que o wav2vec 2.0 e estão obtendo
o estado da arte em várias tarefas relacionadas à fala. No entanto, poucos trabalhos
propuseram maiores análises sobre o comportamento desses modelos
em diferentes cenários de fine-tuning. Nosso trabalho visa analisar esse modelo
sobre dois aspectos diferentes. O primeiro é sobre a transferibilidade entre línguas
desses modelos. Nossos experimentos nos mostraram que o tamanho dos
dados usados durante o pré-treinamento desses modelos não é tão crucial para
a transferibilidade quanto a diversidade. Percebemos que o desempenho das
línguas indo-europeias é superior ao das línguas não indo-europeias nos modelos
avaliados. Vimos uma transferência positiva de conhecimento entre línguas
usando modelos monolinguais, o que foi percebido em todos os idiomas que usamos,
mas foi mais evidente quando o idioma usado durante o pré-treinamento
era mais semelhante ao idioma do fine-tuning. O segundo aspecto que investigamos
em nosso trabalho é quão bem esses modelos se comportam em cenários
de desbalanceamento de dados, onde há um subconjunto mais representativo
no conjunto de dados do fine-tuning. Nossos resultados mostraram que o desbalanceamento
dos dados no fine-tuning geralmente afeta o resultado final dos modelos, com melhor desempenho nos subconjuntos mais representativos. No entanto, uma maior variabilidade no conjunto de treinamento favorece o desempenhodo modelo para um subconjunto mais representativo. Porém essamaior variabilidade nos dados não favoreceu os idiomas não vistos durante o treinamento. Observamos também que os modelos parecem mais robustos em lidar com o desbalanceamento de gênero do que idade ou sotaque. Com esses achados, esperamos ajudar a comunidade científica na utilização de modelos pré-treinados existentes, bem como auxiliar no pré-treinamento de novosmodelos.
Descrição | Arquivo |
NA ÍNTEGRA |