Título: | AVALIANDO LLM NA TAREFA DE ANOTAÇÃO DE ENTIDADES LEGAIS UTILIZANDO FEW-SHOT LEARNING | ||||||||||||
Autor: |
VENICIUS GARCIA REGO |
||||||||||||
Colaborador(es): |
HELIO CORTES VIEIRA LOPES - Orientador FERNANDO ALBERTO CORREIA DOS SANTOS JUNIOR - Coorientador |
||||||||||||
Catalogação: | 24/MAR/2025 | Língua(s): | INGLÊS - ESTADOS UNIDOS |
||||||||||
Tipo: | TEXTO | Subtipo: | TESE | ||||||||||
Notas: |
[pt] Todos os dados constantes dos documentos são de inteira responsabilidade de seus autores. Os dados utilizados nas descrições dos documentos estão em conformidade com os sistemas da administração da PUC-Rio. [en] All data contained in the documents are the sole responsibility of the authors. The data used in the descriptions of the documents are in conformity with the systems of the administration of PUC-Rio. |
||||||||||||
Referência(s): |
[pt] https://www.maxwell.vrac.puc-rio.br/projetosEspeciais/ETDs/consultas/conteudo.php?strSecao=resultado&nrSeq=69716&idi=1 [en] https://www.maxwell.vrac.puc-rio.br/projetosEspeciais/ETDs/consultas/conteudo.php?strSecao=resultado&nrSeq=69716&idi=2 |
||||||||||||
DOI: | https://doi.org/10.17771/PUCRio.acad.69716 | ||||||||||||
Resumo: | |||||||||||||
Um número considerável de documentos no domínio do Direito estão
disponíveis hoje na Internet. Mesmo assim, atividades de extração de infor
mação, como Reconhecimento de Entidades Nomeadas (REN), no domínio do
Direito, continuam desafiadoras, principalmente quando não são em Inglês. Um
dos motivos é a escasses de corpus anotados, combinado com a dificuldade e
custos de desenvolvimento. A tarefa de anotação de dados legais é custosa por
limitações de tempo e de recursos humanos. O surgimento dos Modelos de Lin
guagem Grandes (LLMs) atraiu atenção por conta da capacidade de performar
tarefas apenas com uma descrição ou exemplos de como realizar a atividade,
em linguagem natural, passados no contexto. Estudos recentes apresentaram
resultados significativos em relação a utilização de LLMs na tarefa de anotação
de documentos, em alguns casos, a performance do modelo era comparável a
de anotadores humanos. Portanto, neste trabalho, propomos avaliar a capaci
dade de LLMs na tarefa de anotação de entidades nomeadas em documentos
do domínio do Direito utilizando Few-shot Learning, verificando sua utiliza
ção no processo de anotação junto com humanos. Para realizar a avaliação,
utilizamos um corpus em Português dedicado ao REN contendo decisões do
Supremo Tribunal Federal (STF) que foram previamente anotadas por estu
dantes de Direito. Os resultados obtidos mostram que LLMs são capazes de
reconhecer corretamente as entidades presentes no texto e de produzir ano
tações precisas sem a necessidade de treinar novamente o modelo, portanto,
podem auxiliar no processo de anotação, diminuindo a carga de trabalho dos
anotadores e tornando a tarefa de anotação mais eficiente.
|
|||||||||||||
|