[en] LLMS AS REFLECTIVE INFORMATION RETRIEVAL PARTNERS FOR ACADEMIC KNOWLEDGE WORK: A GENERATIVE PROBING APPROACH

[pt] LLMS COMO PARCEIROS REFLEXIVOS PARA RECUPERAÇÃO DE INFORMAÇÃO NO TRABALHO ACADÊMICO: UMA ABORDAGEM DE SONDAGEM GENERATIVA

[pt] JOAO HENRIQUE GALLAS BRASIL

[pt] INTERACAO HUMANO-COMPUTADOR

[pt] SISTEMA DE INICIATIVA MISTA

[pt] BUSCA DE INFORMACAO

[pt] GRANDE MODELO DE LINGUAGEM

[pt] FERRAMENTA EPISTEMICA

[en] HUMAN-COMPUTER INTERACTION

[en] MIXED INITIATIVE SYSTEM

[en] INFORMATION SEEKING

[en] LARGE LANGUAGE MODEL

[en] EPISTEMIC TOOL

[pt] A ampla disponibilidade de informações na web tornou os processos de aprendizado e pesquisa intrinsecamente ligados aos desafios de encontrar e interpretar um vasto volume de conteúdo potencialmente relevante. Nesse contexto, os Grandes Modelos de Linguagem (LLMs) surgiram como uma ferramenta em potencial, com técnicas de Geração Aumentada por Recuperação(RAG) que lhes permitem recuperar as informações mais relevantes para o usuário no momento da interação. No entanto, a maioria das aplicações atuais baseadas em LLMs prioriza a geração em detrimento da recuperação, resultando em ferramentas de pergunta e resposta que não são necessariamente adequadas ao fluxo de trabalho da pesquisa acadêmica. Esse tipo complexo de trabalho de conhecimento exige a articulação entre a recuperação e gerenciamento de informações e a síntese, contextualização e avaliação crítica. Para explorar esses desafios, realizamos uma revisão dos trabalhos relacionados e um estudo de entrevistas com dez pesquisadores de diversas áreas de STEM e com diferentes níveis de experiência. Nosso objetivo foi compreender suas práticas de trabalho atuais e suas percepções sobre o uso de ferramentas de IA. Com base em nossos achados, que evidenciam a necessidade de ferramentas que apoiem a exploração em vez de apenas fornecer respostas, propomos a Sondagem de Recuperação Generativa (Generative Retrieval Probing)– um formato de interação para sistemas baseados em LLMs que enfatiza a descoberta guiada pelo usuário e o engajamento crítico com as fontes. Instanciamos esse paradigma em um protótipo integrado à coleção pessoal de documentos de pesquisadores, que foi então testado com oito participantes.

[en] The wide availability of information on the web has intertwined the processes of learning and conducting research with the challenges of finding and interpreting a large volume of possibly relevant content. In this context, Large Language Models (LLMs) have emerged as a potential tool, with retrieval augmented generation (RAG) techniques now enabling them to engage with the information most relevant to the user at interaction time. However, most LLM-based applications currently prioritize generation over retrieval, resulting in question-and-answer tools not necessarily suited to the academic research workflow. This complex kind of knowledge work requires the coupling of information retrieval and management with the synthesis, contextualization, and critical evaluation of information. To explore these challenges, we conducted a review of the related work in this space, alongside an interview study involving ten researchers from diverse STEM fields and varying expertise levels. Our aim was to understand their current work practices and perceptions of AI tool use. Based on our findings, which highlight a need for tools that support exploration rather than just providing answers, we propose Generative Retrieval Probing– an interaction format for LLM-based systems that emphasizes user-led discovery and critical engagement with source material. We instantiated this paradigm in a prototype system integrated with a researcher’s personal document collection, which we then tested with eight researchers.

SIMONE DINIZ JUNQUEIRA BARBOSA

HELIO CORTES VIEIRA LOPES

SIMONE DINIZ JUNQUEIRA BARBOSA

RENATO FONTOURA DE GUSMAO CERQUEIRA

2026-03-03

2025-09-24

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=75564@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=75564@2

https://doi.org/10.17771/PUCRio.acad.75564