XINFORMAÇÕES SOBRE DIREITOS AUTORAIS
As obras disponibilizadas nesta Biblioteca Digital foram publicadas sob expressa autorização dos respectivos autores, em conformidade com a Lei 9610/98.
A consulta aos textos, permitida por seus respectivos autores, é livre, bem como a impressão de trechos ou de um exemplar completo exclusivamente para uso próprio. Não são permitidas a impressão e a reprodução de obras completas com qualquer outra finalidade que não o uso próprio de quem imprime.
A reprodução de pequenos trechos, na forma de citações em trabalhos de terceiros que não o próprio autor do texto consultado,é permitida, na medida justificada para a compreeensão da citação e mediante a informação, junto à citação, do nome do autor do texto original, bem como da fonte da pesquisa.
A violação de direitos autorais é passível de sanções civis e penais.
As obras disponibilizadas nesta Biblioteca Digital foram publicadas sob expressa autorização dos respectivos autores, em conformidade com a Lei 9610/98.
A consulta aos textos, permitida por seus respectivos autores, é livre, bem como a impressão de trechos ou de um exemplar completo exclusivamente para uso próprio. Não são permitidas a impressão e a reprodução de obras completas com qualquer outra finalidade que não o uso próprio de quem imprime.
A reprodução de pequenos trechos, na forma de citações em trabalhos de terceiros que não o próprio autor do texto consultado,é permitida, na medida justificada para a compreeensão da citação e mediante a informação, junto à citação, do nome do autor do texto original, bem como da fonte da pesquisa.
A violação de direitos autorais é passível de sanções civis e penais.
Coleção Digital
Título: ROTEAMENTO ADAPTATIVO EM REDES DE COMUNICAÇÃO DE DADOS POR REINFORCEMENT LEARNING Autor: YVAN JESUS TUPAC VALDIVIA
Instituição: PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO - PUC-RIO
Colaborador(es):
MARCO AURELIO CAVALCANTI PACHECO - ORIENTADOR
MARLEY MARIA BERNARDES REBUZZI VELLASCO - COORIENTADOR
Nº do Conteudo: 1348
Catalogação: 13/03/2001 Idioma(s): PORTUGUÊS - BRASIL
Tipo: TEXTO Subtipo: TESE
Natureza: PUBLICAÇÃO ACADÊMICA
Nota: Todos os dados constantes dos documentos são de inteira responsabilidade de seus autores. Os dados utilizados nas descrições dos documentos estão em conformidade com os sistemas da administração da PUC-Rio.
Referência [pt]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=1
Referência [en]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=2
Referência [es]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=4
Referência DOI: https://doi.org/10.17771/PUCRio.acad.1348
Resumo:
Título: ROTEAMENTO ADAPTATIVO EM REDES DE COMUNICAÇÃO DE DADOS POR REINFORCEMENT LEARNING Autor: YVAN JESUS TUPAC VALDIVIA
MARLEY MARIA BERNARDES REBUZZI VELLASCO - COORIENTADOR
Nº do Conteudo: 1348
Catalogação: 13/03/2001 Idioma(s): PORTUGUÊS - BRASIL
Tipo: TEXTO Subtipo: TESE
Natureza: PUBLICAÇÃO ACADÊMICA
Nota: Todos os dados constantes dos documentos são de inteira responsabilidade de seus autores. Os dados utilizados nas descrições dos documentos estão em conformidade com os sistemas da administração da PUC-Rio.
Referência [pt]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=1
Referência [en]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=2
Referência [es]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=4
Referência DOI: https://doi.org/10.17771/PUCRio.acad.1348
Resumo:
Esta dissertação investiga a aplicação dos métodos de
Reinforcement Learning na descoberta de rotas ótimas em uma
rede de comunicação. Uma rede de comunicação real possui um
comportamento dinâmico, mudando seu estado com o tempo. Os
algoritmos de roteamento devem, portanto, oferecer rapidez
na resposta às mudanças do estado da rede. O objetivo do
trabalho é avaliar a aplicação de técnicas de Reinforcement
Learning (RL) como base de algoritmos adaptativos de
roteamento de pacotes. O problema de roteamento de pacotes
sob a visão de RL consiste na definição de cada nó na rede
como um agente RL, sendo que este agente deve definir ações
de forma a minimizar uma função objetivo que pode ser o
tempo de roteamento dos pacotes. Um dos objetivos do RL é
precisamente aprender a tomar as ações que minimizem uma
função. O trabalho consistiu de 4 etapas principais: um
estudo sobre a área de Reinforcement Learning (RL); um
estudo sobre a área de redes de comunicação e roteamento de
pacotes; a modelagem do problema de roteamento como um
sistema RL e implementação de diferentes métodos de RL para
obter algoritmos de roteamento; e o estudo de casos.
O estudo na área de Reinforcement Learning abrangeu desde
as definições mais fundamentais: suas características, os
elementos de um sistema RL e modelagem do ambiente como um
Processo de Decisão de Markov, até os métodos básicos de
solução: Programação Dinâmica, método de Monte Carlo, e o
método de Diferenças Temporais. Neste último método, foram
considerados dois algoritmos específicos: TD e Q-Learning.
Em seguida, foi avaliado o parâmetro Eligibility Traces
como uma alternativa para apressar o processo de
aprendizado, obtendo o TD(lambda) e o Q(lambda)
respectivamente. O estudo sobre Redes de Comunicação e
Roteamento de pacotes envolveu os conceitos básicos de
redes de comunicações, comutação por pacotes, a questão do
roteamento de pacotes e os algoritmos existentes
adaptativos e não adaptativos, que são utilizados na
atualidade. Nas redes de comunicação, definidas como um
conjunto de nós ligados através de enlaces de comunicação,
para se enviar uma mensagem de um nó a outro, geralmente, a
mensagem é quebrada em pedaços, chamados pacotes, e
enviados através de outros nós, até chegar ao destino.
Deste modo surge o problema de escolher os nós que levem o
pacote o mais rápido possível até o nó destino. Os
algoritmos analisados foram: Shortest Path Routing que
procura os caminhos com menor número de nós
intermediários, não sendo sensível às mudanças na carga nem
na topologia da rede; Weighted Shortest Path Routing, que
oferece um melhor desempenho a partir de uma visão global
do estado da rede, que nem sempre é fácil de obter em redes
reais e o algoritmo de Bellman-Ford, baseado em decisões de
roteamento locais e atualizações periódicas, com algumas
limitações para obter políticas em altas cargas. Este
último é um dos algoritmos mais utilizados na atualidade,
sendo base de muitos protocolos de roteamento existentes.
A modelagem do problema de roteamento como um sistema RL
foi inspirada por uma característica na definição de um
sistema RL: um agente que interage com o ambiente e aprende
a atingir um objetivo. Assim, a modelagem dos algoritmos
tem como objetivo aprender a descobrir as rotas que
minimizem o tempo de roteamento de pacotes desde uma origem
até um dado destino. A avaliação de uma rota escolhida não
pode ser obtida antes que o pacote alcance o seu destino
final. Este fato faz com que os processos de aprendizado
supervisionado tenham dificuldade de se aplicar a esse
problema. Por outro lado, o Reinforcement Learning não
necessita de um par entrada-resposta para fazer o
aprendizado, permitindo-lhe abordar o problema com relativa
facilidade. Na modelagem efetuada, cada nó na rede se
comporta como um agente de RL que age na própria rede, a
qual é o ambiente. A informação das rotas é armazenada nas
funções de valor existentes em todos os nós da rede para
Descrição | Arquivo |
NA ÍNTEGRA |