Lidar com processos não estacionários requer adaptação rápida e, simultaneamente, evitar esquecimento catastrófico de um comportamento passado. Duas técnicas de treinamento em redes neurais que satisfazem este requerimento são propostas, uma no âmbito de aprendizado com supervisão e outra relacionada à classe de redes não supervisionadas. Um novo algoritmo de treinamento supervisionada em redes multi camadas para modelagem de sistemas num contexto não estacionário é proposto. O ajuste de pesos na rede é determinado pela solução de problema de compromisso entre manter a performance para os dados antigos de treinamento e se ajustar para um novo comportamento representado nos dados mais recentes. Esta abordagem tem por base a formalização do problema como a minimização do erro de saída da rede sobre os padrões entrada-saída passados, sujeita a restrição de codificação do novo padrão dentro da tolerância estabelecida. Técnicas de programação não linear são utilizadas para resolver o problema de otimização gerado e calcular o novo conjunto de pesos. Alguns experimentos numéricos que comparam a performance do algoritmo proposto a de uma rede backpropagation são oferecidos. Um modelo de redes Fuzzy ART modulares para formação de categorias com hierarquia é também proposto, de tal forma que cada módulo agrupa os protótipos das categorias desenvolvidas na camada anterior. Dessa forma, os níveis hierárquicos sucessivamente mais altos captam uma visualização mais geral dos padrões de entrada enquanto os níveis inferiores aprendem categorias mais especificas. Propriedades interessantes da rede Fuzzy são herdadas pelo modelo proposto. Resultados teóricos relacionados às propriedades desta nova abordagem são apresentados, bem como experimentos numéricos que comprovam e ilustram as mesmas.