[en] DERIVING EXPERT AGENT POLICIES INTO INTERPRETABLE DECISION TREES THROUGH IMITATION

[pt] EXTRAÇÃO DE POLÍTICAS DE AGENTES ESPECIALISTA PARA ÁRVORES DE DECISÃO INTERPRETÁVEIS VIA APRENDIZADO POR IMITAÇÃO

[pt] THOMAS ADDIS JUNQUEIRA BOTELHO

[pt] REDE NEURAL

[pt] APRENDIZADO DE MAQUINA

[pt] APRENDIZADO PROFUNDO

[pt] MODELO LINEAR

[pt] ARVORE DE DECISAO

[en] NEURAL NETWORKS

[en] MACHINE LEARNING

[en] DEEP LEARNING

[en] LINEAR MODEL

[en] DECISION TREE

[pt] Este estudo apresenta uma investigação sobre a aplicação de técnicas de Aprendizado por Imitação (IL) para a extração de políticas estruturadas e interpretáveis a partir de modelos especialistas operando como caixas-pretas. O foco principal é analisar a viabilidade e eficácia dessa abordagem em traduzir comportamentos aprendidos por redes neurais profundas em árvores de decisão, que representam um conjunto de regras que podem ser sequencialmente avaliadas para chegar numa decisão. Avaliamos esta metodologia em três ambientes de simulação distintos: Lunar-Lander, Taxi e CartPole. Testamos os algoritmos DAgger e sua variante VIPER, que iterativamente treinam políticas representadas por árvores de decisão a partir de demonstrações de uma política especialista. Comparamos o uso de árvores de decisão tradicionais com árvores de modelos lineares, que contém modelos lineares em suas folhas.

[en] This study presents an investigation into the application of Imitation Learning (IL) techniques for extracting structured and interpretable policies from black-box expert models. The primary focus is to analyze the feasibility and effectiveness of this approach in translating behaviors learned by deep neural networks into decision trees, which represent a set of rules that can be sequentially evaluated to reach a decision. We evaluate this methodology in three distinct simulation environments: Lunar-Lander, Taxi, and CartPole. We test the DAgger algorithm and its variant VIPER, which iteratively train policies represented by decision trees from demonstrations of an expert policy. We compare the use of traditional decision trees with linear model trees, which contain linear models in their leaves.

AUGUSTO CESAR ESPINDOLA BAFFA

2024-09-04

[pt] TEXTO

application/pdf

PORTUGUÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=67834@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=67834@2

https://doi.org/10.17771/PUCRio.acad.67834