Título
[en] AUTOMATION OF THE GENERATION AND EVALUATION OF DIALOGUES FOR TEXT-TO-SQL SYSTEMS: AN AGENT-BASED APPROACH
Título
[pt] AUTOMATIZAÇÃO DA GERAÇÃO E AVALIAÇÃO DE DIÁLOGOS PARA SISTEMAS TEXT-TO-SQL: UMA ABORDAGEM BASEADA EM AGENTES
Autor
[pt] MATHEUS OLIVEIRA SILVA
Vocabulário
[pt] GRANDE MODELO DE LINGUAGEM
Vocabulário
[pt] AGENTE
Vocabulário
[pt] AVALIACAO DE DIALOGOS
Vocabulário
[pt] LANGGRAPH
Vocabulário
[pt] LANGCHAIN
Vocabulário
[pt] TEXTO PARA SQL
Vocabulário
[en] LARGE LANGUAGE MODEL
Vocabulário
[en] AGENT
Vocabulário
[en] DIALOGUE EVALUATION
Vocabulário
[en] LANG GRAPH
Vocabulário
[en] LANGCHAIN
Vocabulário
[en] TEXT TO SQL
Resumo
[pt] Atarefa de texto-para-SQL conversacional refere-se à condução de diálogos com o usuário, em linguagem natural, para gerar consultas SQL acessando um banco de dados. Interfaces para esta tarefa podem ser implementadas com o uso de um agente para controlar o diálogo e uma ferramenta para traduzir perguntas em linguagem natural para consultas SQL. A tarefa de avaliar tais interfaces, especialmente aquelas em que o agente utiliza uma LLM, é complexa e sem uma solução definitiva. Este trabalho propõe inicialmente um método para gerar conjuntos de diálogos para testar tais interfaces. Em seguida, descreve um agente avaliador para automatizar o teste destas interfaces, que se comporta como um usuário humano e consome um conjunto de diálogos de teste. O trabalho inclui um caso de uso baseado no banco de dados Mondial, disponível de forma aberta.
Resumo
[en] The conversational text-to-SQL task refers to conducting user dialogues,
in natural language, to generate SQL queries accessing a database. Interfaces
for this task may be implemented using an agent to control the dialogue and
a text-to-SQL tool. Testing such interfaces, especially when the agent uses
an LLM, is complex and lacks a definitive solution. This dissertation initially
proposes a method to generate dialogue datasets to test such interfaces. Then,
it describes an evaluation agent to automate testing such interfaces, which
simulates a user and consumes dialogue test datasets. The dissertation includes
a use case based on the Mondial database, which is openly available.
Orientador(es)
MARCO ANTONIO CASANOVA
Banca
MARCO ANTONIO CASANOVA
Banca
ANTONIO LUZ FURTADO
Banca
YENIER TORRES IZQUIERDO
Catalogação
2025-11-27
Apresentação
2025-08-25
Tipo
[pt] TEXTO
Formato
application/pdf
Idioma(s)
INGLÊS
Referência [pt]
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74368@1
Referência [en]
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74368@2
Referência DOI
https://doi.org/10.17771/PUCRio.acad.74368
Arquivos do conteúdo
NA ÍNTEGRA PDF