[pt] ESTUDO DE TÉCNICAS DE APRENDIZADO POR REFORÇO APLICADAS AO CONTROLE DE PROCESSOS QUÍMICOS

[en] STUDY OF REINFORCEMENT LEARNING TECHNIQUES APPLIED TO THE CONTROL OF CHEMICAL PROCESSES

[pt] ERIC MONTEIRO E LOBO LUZ

[pt] APRENDIZADO POR REFORCO

[pt] SAC

[pt] TD3

[pt] DDPG

[pt] DEEP Q-LEARNING

[pt] ATOR-CRITICO

[pt] REATOR DE VAN DE VUSSE

[pt] CONTROLE DE PROCESSOS QUIMICOS

[pt] APRENDIZADO POR REFORCO PROFUNDO

[pt] Q-LEARNING

[pt] PROCESSO TENNESSEE EASTMAN

[en] REINFORCEMENT LEARNING

[en] SAC

[en] TD3

[en] DDPG

[en] DEEP Q-LEARNING

[en] ACTOR CRITIC

[en] CHEMICAL PROCESS CONTROL

[en] DEEP REINFORCEMENT LEARNING

[en] Q-LEARNING

[en] TENNESSEE EASTMAN PROCESS

[pt] A indústria 4.0 impulsionou o desenvolvimento de novas tecnologias para atender as demandas atuais do mercado. Uma dessas novas tecnologias foi a incorporação de técnicas de inteligência computacional no cotidiano da indústria química. Neste âmbito, este trabalho avaliou o desempenho de controladores baseados em aprendizado por reforço em processos químicos industriais. A estratégia de controle interfere diretamente na segurança e no custo do processo. Quanto melhor for o desempenho dessa estrategia, menor será a produção de efluentes e o consumo de insumos e energia. Os algoritmos de aprendizado por reforço apresentaram excelentes resultados para o primeiro estudo de caso, o reator CSTR com a cinética de Van de Vusse. Entretanto, para implementação destes algoritmos na planta química do Tennessee Eastman Process mostrou-se que mais estudos são necessários. A fraca ou inexistente propriedade Markov, a alta dimensionalidade e as peculiaridades da planta foram fatores dificultadores para os controladores desenvolvidos obterem resultados satisfatórios. Foram avaliados para o estudo de caso 1, os algoritmos Q-Learning, Actor Critic TD, DQL, DDPG, SAC e TD3, e para o estudo de caso 2 foram avaliados os algoritmos CMA-ES, TRPO, PPO, DDPG, SAC e TD3.

[en] Industry 4.0 boosted the development of new technologies to meet current market demands. One of these new technologies was the incorporation of computational intelligence techniques into the daily life of the chemical industry. In this context, this present work evaluated the performance of controllers based on reinforcement learning in industrial chemical processes. The control strategy directly affects the safety and cost of the process. The better the performance of this strategy, the lower will be the production of effluents and the consumption of input and energy. The reinforcement learning algorithms showed excellent results for the first case study, the Van de Vusse s reactor. However, to implement these algorithms in the Tennessee Eastman Process chemical plant it was shown that more studies are needed. The weak Markov property, the high dimensionality and peculiarities of the plant were factors that made it difficult for the developed controllers to obtain satisfactory results. For case study 1, the algorithms Q-Learning, Actor Critic TD, DQL, DDPG, SAC and TD3 were evaluated, and for case study 2 the algorithms CMA-ES, TRPO, PPO, DDPG, SAC and TD3 were evaluated.

WOUTER CAARLS

KARLA TEREZA FIGUEIREDO LEITE

WOUTER CAARLS

BRUNNO FERREIRA DOS SANTOS

BRUNO DIDIER OLIVIER CAPRON

2021-12-30

2021-08-27

[pt] TEXTO

application/pdf

PORTUGUÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=56872@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=56872@2

https://doi.org/10.17771/PUCRio.acad.56872