[en] AN LLM-BASED WORKFLOW FOR AD HOC TEAMWORK WITH HUMAN-ROBOT TEAMS IN REAL WORLD SCENARIOS

[pt] UMA ARQUITETURA BASEADA EM LLMS PARA COLABORAÇÕES AD HOC EM TIMES COM HUMANOS E ROBÔS EM AMBIENTES DO MUNDO REAL

[pt] POLYANA BEZERRA DA COSTA

[pt] INTERACAO HUMANO-COMPUTADOR

[pt] AGENTE AUTONOMO

[pt] COLABORACAO AD HOC

[pt] MODELO DE LINGUAGEM DE GRANDE ESCALA

[pt] PLANEJAMENTO AUTOMATICO

[en] HUMAN-COMPUTER INTERACTION

[en] AUTONOMOUS AGENT

[en] AD HOC TEAMWORK

[en] LARGE LANGUAGE MODEL

[en] AUTOMATIC PLANNING

[pt] À medida que plataformas robóticas se tornam mais acessíveis, seu uso em diversos cenários do mundo real tem se popularizado. Para que essas plaformas possam dar o devido suporte às atividades humanas, é desejável que a colaboração e interação com elas seja flexível e sem muitas regras. A área de pesquisa Ad Hoc Teamwork (AHT) aborda esse desafio ao explorar o desenvolvimento de agentes autônomos que colaborem dinamicamente sem coordenação prévia, regras predefinidas ou protocolos rígidos. Isso requer que o agente infira tarefas, planeje suas ações e se adapte a ambientes dinâmicos em tempo real, geralmente com conhecimento incompleto da tarefa atual ou das pessoas que estão no ambiente. Enquanto a maioria das pesquisas em AHT foca na colaboração agente-agente em ambientes virtuais ou em interações humano-robô em ambientes controlados, o AHT do mundo real apresenta vários desafios adicionais, como comportamentos imprevisíveis por partes dos humanos, tarefas sem definições claras e restrições físicas ao interagir no mundo real. Para atuar efetivamente em tais ambientes, agentes ad hoc devem ter mecanismos de planejamento robustos e ser altamente adaptáveis, inferindo tarefas, reconhecendo oportunidades de colaboração e tomando decisões em tempo real sem impor restrições aos humanos que estejam no ambiente. Neste contexto, esta tese explora a integração de Large Language Models (LLMs) em agentes ad hoc para aprimorar suas capacidades de planejamento e colaboração em cenários do mundo real com humanos. Por terem sido treinados num conjunto vasto de dados, as LLMs apresentam grande capacidade para generalização e conhecimento de senso-comum. Dessa forma, as LLMs podem fornecer insights valiosos que auxiliem o processo de planejamento de tarefas para as quais o agente não foi explicitamente treinado. Ao contrário de abordagens anteriores que dependem de bibliotecas de tarefas predefinidas ou pré suposições sobre o ambiente em que o agente está inserido, propomos um workflow baseado em LLMs que usa Prompt Engineering para melhorar a qualidade dos planos gerados. Nosso método combina a decomposição de tarefas em subetapas usando o método Zero-Shot Chain of Thought, as capacidades de aprendizagem contextual das LLMs, utilizando um método adaptado para buscar exemplos relevantes a serem incluídos no prompt, e autorefinamento por meio de LLMs para melhorar a qualidade do plano final. Com esse workflow, alcançamos 90.20 por cento de similaridade com planos de referência para tarefas únicas sem aplicar refinamentos nos planos, e 82.20 por cento para multitarefas, aplicando refinamentos nos planos, o que mostra um aumento de dois pontos percentuais em relação ao melhor resultado anterior para tarefas únicas e um aumento de 4 pontos percentuais para multitarefas. Esses resultados destacam o potencial das LLMs para gerar planos de ação viáveis para tarefas que o agente não foi especificamente treinado para fazer. Ao abordar o AHT em ambientes reais com humanos, este trabalho contribui para o desenvolvimento de agentes ad hoc capazes de colaboração flexível com humanos em ambientes não estruturados. Nossos resultados ressaltam o potencial de usar LLMs em vários estágios do pipeline AHT, tornando nosso workflow desejável para implantação com supervisão humana.

[en] As robotic platforms become more accessible, they are gradually being integrated into diverse real-world scenarios, requiring adaptive collaboration to support human activities effectively. Ad Hoc Teamwork (AHT) research addresses this challenge by enabling autonomous agents to collaborate dy namically without prior coordination, predefined rules, or rigid protocols. This requires the agent to infer tasks, plan actions, and adapt to dynamic environments in real-time, often with incomplete knowledge of the task or their team mates. While most existing AHT research has focused on agent collaboration in virtual environments or constrained human-robot interactions, real-world AHT presents additional challenges, such as unpredictable human behavior, implicit task definitions, and physical constraints. To operate effectively in such environments, ad hoc agents must have robust planning mechanisms and be highly adaptable, inferring tasks, recognizing collaboration opportunities, and making real-time decisions without imposing constraints on human teammates. In this context, this thesis explores the integration of Large Language Models (LLMs) into ad hoc agents to enhance their planning capabilities in real-world scenarios with humans. Given the vast knowledge embedded in LLMs and their strong generalization abilities, they may provide valuable insights that enhance the planning process for tasks the agent was not explicitly trained for. Unlike prior approaches that rely on predefined task libraries or environmental assumptions, we propose an LLM-based workflow that enables on-the-fly planning of tasks, allowing the agent to infer tasks, identify collaboration opportunities, and adapt to dynamic scenarios using contextual information such as verbal instructions and environmental cues. Our method combines task decomposition into sub-steps using Zero-Shot Chain-of-Thought prompting, the in-context learning capabilities of LLMs through an adapted method for retrieving meaningful examples, and self-refinement via LLMs to improve the quality of the final plan. Using this workflow, we achieved 90.20 percent similarity with reference plans for single tasks without plan refinements, and 82.20 percent for multi-tasks with refinements, an improvement of 2 percentage points over the previous best result for single tasks and 4 percentage points for multi-tasks. These results highlight the potential of using LLMs to generate feasible action plans for previously unseen tasks. By bridging the gap between virtual and real-world AHT research, this work contributes to the development of ad hoc agents capable of flexible collaboration with humans in unstructured environments. Our findings underscore the potential of using LLMs across multiple stages of the AHT pipeline, making our workflow suitable for deployment with human supervision.

SERGIO COLCHER

ALBERTO BARBOSA RAPOSO

SERGIO COLCHER

EDWARD HERMANN HAEUSLER

JULIO CESAR DUARTE

ANTONIO JOSE GRANDSON BUSSON

2026-03-10

2025-04-25

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=75615@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=75615@2

https://doi.org/10.17771/PUCRio.acad.75615