A crescente disponibilidade de grandes corpora – conjunto de corpus de texto – cria a expectativa de sintetizar, organizar e inferir uma quantidade de informação sem precedentes. A extração de conhecimento automática (ECA), área que está no cerne do Processamento de Linguagem Natural (PLN) e da Inteligência Artificial (IA), aponta para o uso de técnicas de aquisição de conhecimento estruturado a partir de dados não estruturados, como os documentos de texto. A ECA compreende essencialmente duas tarefas: o reconhecimento de entidades nomeadas (REN) ou objetos do mundo real, e a extração de relações (ER). Recentemente, as soluções propostas para essas tarefas, em sua maioria, são modelos de aprendizado profundo (AP). Atualmente, os modelos conseguem extrair com boa acurácia informação existente em texto do tamanho de um resumo. Neste trabalho, aborda-se a criação de mecanismos e estruturas de AP que permitam a expansão da capacidade de armazenamento de informação de forma a reconhecer com uma alta eficiência longas dependências entre entidades. Este trabalho tem como objetivo o desenvolvimento, implementação e avaliação de técnicas de AP para aplicações de PLN como o RCE e a ER a partir de um documento de texto. Portanto, exploram-se modelos baseados em estruturas Transformer, que otimizam o processamento de sequências, juntamente com mecanismos que se assemelham ao controle de bancos de memória, com a finalidade de incrementar o nível de raciocínio destes modelos. O treinamento dos modelos parte de um conjunto de textos rotulados – anotações – indicando a presença de tipos de entidades ou relações que existem entre elas. O modelo recebe como entrada um texto e deve aprender a reconhecer as entidades e as relações lá contidas. Os resultados obtidos demonstram efetividade dos modelos propostos quando comparados aos baseados em redes neurais já existentes.