[pt] AVALIANDO GRANDES MODELOS DE LINGUAGEM COMPROMETIDOS ONTOLOGICAMENTE: UM EXPERIMENTO EM PREDIÇÃO DE SEPSE

[en] EVALUATING ONTOLOGICALLY-AWARE LARGE LANGUAGE MODELS: AN EXPERIMENT IN SEPSIS PREDICTION

[pt] LUCAS GOMES MADDALENA

[pt] BERT

[pt] ESTRUTURA VETORIAL SEMANTICAMENTE ENRIQUECIDA

[pt] PREDICAO DE SEPSE

[pt] LLM LARGE LANGUAGE MODEL

[en] BERT

[en] SEMANTICALLY-ENRICHED EMBEDDING

[en] SEPSE PREDICTION

[en] LLM LARGE LANGUAGE MODEL

[pt] A detecção precoce e precisa de sepse durante a hospitalização é crucial, pois trata-se de uma condição com risco de vida e implicações significativas para os desfechos dos pacientes. Os Registros Eletrônicos de Saúde (EHRs) oferecem uma vasta quantidade de informações, incluindo dados textuais não estruturados, que frequentemente contêm insights mais detalhados do que os dados estruturados convencionais. Para processar esses dados textuais, uma variedade de métodos de Processamento de Linguagem Natural (NLP) tem sido empregada, embora com eficácia limitada. Avanços recentes em recursos computacionais levaram ao desenvolvimento dos Modelos Grandes de Linguagem (LLMs), capazes de processar grandes volumes de texto, identificar relações e padrões entre palavras e estruturá-los em embeddings. Isso permite que os LLMs extraiam insights significativos dentro de domínios específicos. Apesar desses avanços, os LLMs enfrentam desafios para capturar a semântica do mundo real em textos clínicos, essencial para compreender as interconexões complexas entre os termos e garantir precisão terminológica. Este trabalho propõe um estudo de caso utilizando o Clinical KB BERT, uma abordagem para criar estruturas vetoriais, chamadas de embeddings, das notas clínicas de pacientes em UTI que incorpora informações semânticas da ontologia do Unified Medical Language System (UMLS). Ao integrar conhecimento específico do domínio proveniente do UMLS, o Clinical KB BERT busca melhorar a compreensão semântica dos dados clínicos, aprimorando o desempenho preditivo dos modelos resultantes. O presente estudo compara o Clinical KB BERT com o Clinical BERT, um modelo amplamente utilizado no domínio da saúde. Os resultados experimentais demonstram que embeddings semanticamente enriquecidos produziram um modelo mais preciso e com menor incerteza para a predição precoce de sepse. Especificamente, o modelo aumentou a Área sob a Curva Característica de Operação do Receptor (AUC-ROC) de 0,826 para 0,853, enquanto a entropia preditiva média para todo o conjunto de teste diminuiu de 0,159 para 0,142. Além disso, a redução da entropia preditiva média foi ainda mais pronunciada nos casos em que ambos os modelos fizeram previsões corretas, diminuindo de 0,148 para 0,129. Vale destacar que os impactos práticos dessas melhorias incluem uma redução substancial no número de falsos negativos (de 162 para 128, em um total de 227 casos de sepse), enfatizando a capacidade do modelo semanticamente consciente de reduzir diagnósticos precoces perdidos e melhorar os desfechos dos pacientes.

[en] Early and accurate detection of sepsis during hospitalization is critical, as it is a life-threatening condition with significant implications for patient outcomes. Electronic Health Records (EHRs) offer a wealth of information, including unstructured textual data, often containing more nuanced insights than regular structured data. To process such textual data, a variety of Natural Language Processing (NLP) methods have been employed with limited effectiveness. Recent advancements in computational resources have led to the development of Large Language Models (LLMs), which can effectively process vast amounts of text to identify relationships and patterns between words and structure them into embeddings. This enables LLMs to extract meaningful insights within specific domains. Despite these advances, LLMs face challenges in capturing the real-world semantics of clinical texts, which are critical for understanding the complex interconnections among terms and ensuring terminological precision. This work proposes a case study using Clinical KB BERT, an approach for embedding clinical notes of ICU patients that incorporates semantic information from the Unified Medical Language System (UMLS) ontology. By integrating domain-specific knowledge from UMLS, Clinical KB BERT aims to improve the semantic understanding of clinical data, thus enhancing the predictive performance of the resulting models. The present study compares Clinical KB BERT against Clinical BERT, a widely used model in the healthcare domain. The experimental results demonstrate that semantically enriched embeddings produced a more accurate and less uncertain model for the early prediction of sepsis. Specifically, it increased the Area Under the Receiver Operating Characteristic Curve (AUC-ROC) from 0.826 to 0.853, while the mean predictive entropy for the entire test dataset decreased from 0.159 to 0.142. Furthermore, the reduction in mean predictive entropy was even more pronounced in cases where both models made correct predictions, decreasing from 0.148 to 0.129. Noteworthy, the practical impacts of these improvements include a substantial decrease in the number of false negatives (from 162 to 128, out of 227 septic cases), emphasizing the ability of the semantically aware model in reducing missed early diagnoses, and improving patient outcomes.

FERNANDA ARAUJO BAIAO AMORIM

TIAGO PRINCE SALES

FERNANDA ARAUJO BAIAO AMORIM

GIANCARLO GUIZZARDI

IGOR TONA PERES

TIAGO PRINCE SALES

2025-05-02

2025-02-12

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=70205@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=70205@2

https://doi.org/10.17771/PUCRio.acad.70205