[en] PRODUCING AND EVALUATING VISUAL REPRESENTATIONS TOWARD EFFECTIVE EXPLAINABLE ARTIFICIAL INTELLIGENCE

[pt] PRODUZINDO E AVALIANDO REPRESENTAÇÕES VISUAIS PARA UMA EFICAZ INTELIGÊNCIA ARTIFICIAL EXPLICÁVEL

[pt] BIANCA MOREIRA CUNHA

[pt] INTERPRETABILIDADE

[pt] VISUALIZACAO

[pt] SHAP VALUE

[pt] APRENDIZADO DE MAQUINA

[pt] INTELIGENCIA ARTIFICIAL EXPLICAVEL

[en] INTERPRETABILITY

[en] VISUALIZATION

[en] SHAP VALUE

[en] MACHINE LEARNING

[en] EXPLAINABLE AI

[pt] O uso de modelos de Aprendizado de Máquina (ML) em diversos domínios tem crescido exponcialmente nos últimos anos. Esses modelos realizam tarefas críticas que abrangem por exemplo diagnósticos médicos, sentenças criminais e aprovações de empréstimo. Para permitir que usuários compreendam a lógica por trás das predições e gerar confiança, esses modelos deveriam ser interpretáveis. Igualmente vital é a capacidade de desenvolvedores de localizar e corrigir quaisquer comportamentos errôneos. Neste contexto surge o campo de Inteligência Artificial Explicável (XAI), que visa desenvolver métodos para tornar modelos de ML mais interpretáveis, enquanto mantém seu nível de performance. Diversos métodos foram propostos, muitos aproveitando-se de explicações visuais para elucidar o comportamento do modelo. Porém, uma lacuna notável permanece: a ausência de uma avaliação rigorosa em relação à eficácia dessas explicações em melhorar a interpretabilidade. Resultados anteriores mostraram que visualizações apresentadas por estes métodos podem ser confusos mesmo para usuários que têm um histórico matemático e que há a necessidade para pesquisadores de XAI trabalharem colaborativamente com especialistas de Visualização da Informação, além de testar as visualizações com usuários com bases diversas. Um dos métodos de XAI mais utilizados recentemente é o método SHAP, cujas representações visuais não tiveram a sua eficácia avaliada anteriomente. Por conta disso, nós desenvolvemos um estudo onde trabalhamos em conjunto com pesquisadores de visualização e desenvolvemos viusalizações baseadas nas informações que o método SHAP fornece, tendo em mente fatores considerados na literatura como características que geram eficácia a uma explicação. Avaliamos estas visualizações com pessoas com diversos históricos com o objetivo de avaliar se as visualizações são eficazes em melhorar o seu entendimento do modelo. Com os resultados deste estudo, promomos uma abordagem para produzir e avaliar representações visuais de explicações tendo como objetivo a sua eficácia.

[en] The employment of Machine Learning (ML) models across diverse domains has grown exponentially in recent years. These models undertake critical tasks spanning medical diagnoses, criminal sentencing, and loan approvals. To enable users to grasp the rationale behind predictions and engender trust, these models should be interpretable. Equally vital is the capability of developers to pinpoint and rectify any erroneous behaviors. In this context emerges the field of Explainable Artificial Intelligence (XAI), which aims to develop methods to make ML models more interpretable while maintaining their performance level. Various methods have been proposed, many leveraging visual explanations to elucidate model behavior. However, a notable gap remains: a lack of rigorous assessment regarding the effectiveness of these explanations in enhancing i nterpretability. Previous findings showed that the visualizations presented by these methods can be confusing even for users who have a mathematical background and that there is a need for XAI researchers to work collaboratively with Information Visualization experts to develop these visualizations, as well as test the visualizations with users of various backgrounds. One of the most used XAI methods recently is the SHAP method, whose visual representations have not had their efficacy assessed before. Therefore, we developed a study where we worked together with visualization researchers and developed visualizations based on the information that the SHAP method provides, having in mind factors that are considered in literature to engender effectiveness to an explanation. We evaluated these visualizations with people from various backgrounds in order to assess if the visualizations are efficient in improving their understanding of the model. With the results of this study we propose an approach to produce and evaluate visual representations of explanations targeting their effectiveness.

SIMONE DINIZ JUNQUEIRA BARBOSA

SIMONE DINIZ JUNQUEIRA BARBOSA

ALBERTO BARBOSA RAPOSO

GREIS FRANCY MIREYA SILVA CALPA

2025-07-23

2025-04-28

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=71825@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=71825@2

https://doi.org/10.17771/PUCRio.acad.71825