[pt] AVALIANDO O POTENCIAL DE LLMS NA CLASSIFICAÇÃO DE REQUISITOS DE SOFTWARE RELACIONADOS A SEGURANÇA

[en] EVALUATING THE POTENTIAL OF LARGE LANGUAGE MODELS IN SECURITY RELATED SOFTWARE REQUIREMENTS CLASSIFICATION

[pt] MURILO DE SA MARTIN

[pt] ENGENHARIA DE REQUISITOS

[pt] MODELO DE LINGUAGEM DE GRANDE ESCALA

[pt] ENGENHARIA DE PROMPT

[pt] APRENDIZADO DE MAQUINA

[pt] REQUISITO NAO FUNCIONAL

[en] REQUIREMENTS ENGINEERING

[en] LARGE LANGUAGE MODEL

[en] PROMPT ENGINEERING

[en] MACHINE LEARNING

[en] NON FUNCTIONAL REQUIREMENT

[pt] A classificação eficaz de requisitos de software relacionados à segurança é essencial para mitigar potenciais ameaças e garantir um design de sistema robusto. Este estudo investiga a precisão dos Modelos de Linguagem de Grande Escala (LLMs) na classificação de requisitos relacionados à segurança em comparação com métodos tradicionais de aprendizado de máquina (ML). Utilizando os conjuntos de dados SecReq e PROMISE exp, avaliamos nove LLMs em diferentes estratégias de engenharia de prompts. Os resultados demonstram que os LLMs alcançam alta acurácia e superam os modelos tradicionais de ML em diversos cenários de avaliação, além de mostrar que a engenharia de prompts pode melhorar significativamente a capacidade dos modelos de identificar requisitos relacionados à segurança. Este trabalho destaca as capacidades de generalização dos LLMs e seu potencial para simplificar a classificação de requisitos sem a complexidade de engenharia de atributos ou fine tuning, comumente necessários em abordagens de ML. Pesquisadores, profissionais e desenvolvedores de ferramentas podem aproveitar essas descobertas para avançar em abordagens automatizadas na engenharia de requisitos de segurança.

[en] Effective classification of security-related software requirements is essential for mitigating potential threats and ensuring robust system design. This study investigates the accuracy of large language models (LLMs) in classifying security-related requirements compared to traditional machine learning (ML) methods. Using the SecReq and PROMISE_exp datasets, we evaluated nine LLMs across various prompt engineering strategies. The results demonstrate that LLMs achieve high accuracy and outperform traditional ML models in several evaluation scenarios and that prompt engineering can significantly enhance the model’s ability to identify security-related requirements. This work underscores the domain-generalization capabilities of LLMs and their potential to streamline requirements classification without the complexity of feature engineering or dataset-specific fine-tuning often required by ML approaches. Researchers, practitioners, and tool developers can leverage these findings to advance automated approaches in security requirements engineering.

JULIANA ALVES PEREIRA

2025-04-28

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=70140@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=70140@2

https://doi.org/10.17771/PUCRio.acad.70140