XINFORMAÇÕES SOBRE DIREITOS AUTORAIS
As obras disponibilizadas nesta Biblioteca Digital foram publicadas sob expressa autorização dos respectivos autores, em conformidade com a Lei 9610/98.
A consulta aos textos, permitida por seus respectivos autores, é livre, bem como a impressão de trechos ou de um exemplar completo exclusivamente para uso próprio. Não são permitidas a impressão e a reprodução de obras completas com qualquer outra finalidade que não o uso próprio de quem imprime.
A reprodução de pequenos trechos, na forma de citações em trabalhos de terceiros que não o próprio autor do texto consultado,é permitida, na medida justificada para a compreeensão da citação e mediante a informação, junto à citação, do nome do autor do texto original, bem como da fonte da pesquisa.
A violação de direitos autorais é passível de sanções civis e penais.
As obras disponibilizadas nesta Biblioteca Digital foram publicadas sob expressa autorização dos respectivos autores, em conformidade com a Lei 9610/98.
A consulta aos textos, permitida por seus respectivos autores, é livre, bem como a impressão de trechos ou de um exemplar completo exclusivamente para uso próprio. Não são permitidas a impressão e a reprodução de obras completas com qualquer outra finalidade que não o uso próprio de quem imprime.
A reprodução de pequenos trechos, na forma de citações em trabalhos de terceiros que não o próprio autor do texto consultado,é permitida, na medida justificada para a compreeensão da citação e mediante a informação, junto à citação, do nome do autor do texto original, bem como da fonte da pesquisa.
A violação de direitos autorais é passível de sanções civis e penais.
Coleção Digital
Título: ADAPTIVE ROUTING IN DATA COMMUNICATION NETWORKS THROUGH REINFORCEMENT LEARNING Autor: YVAN JESUS TUPAC VALDIVIA
Instituição: PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO - PUC-RIO
Colaborador(es):
MARCO AURELIO CAVALCANTI PACHECO - ADVISOR
MARLEY MARIA BERNARDES REBUZZI VELLASCO - CO-ADVISOR
Nº do Conteudo: 1348
Catalogação: 13/03/2001 Idioma(s): PORTUGUESE - BRAZIL
Tipo: TEXT Subtipo: THESIS
Natureza: SCHOLARLY PUBLICATION
Nota: Todos os dados constantes dos documentos são de inteira responsabilidade de seus autores. Os dados utilizados nas descrições dos documentos estão em conformidade com os sistemas da administração da PUC-Rio.
Referência [pt]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=1
Referência [en]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=2
Referência [es]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=4
Referência DOI: https://doi.org/10.17771/PUCRio.acad.1348
Resumo:
Título: ADAPTIVE ROUTING IN DATA COMMUNICATION NETWORKS THROUGH REINFORCEMENT LEARNING Autor: YVAN JESUS TUPAC VALDIVIA
MARLEY MARIA BERNARDES REBUZZI VELLASCO - CO-ADVISOR
Nº do Conteudo: 1348
Catalogação: 13/03/2001 Idioma(s): PORTUGUESE - BRAZIL
Tipo: TEXT Subtipo: THESIS
Natureza: SCHOLARLY PUBLICATION
Nota: Todos os dados constantes dos documentos são de inteira responsabilidade de seus autores. Os dados utilizados nas descrições dos documentos estão em conformidade com os sistemas da administração da PUC-Rio.
Referência [pt]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=1
Referência [en]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=2
Referência [es]: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=1348&idi=4
Referência DOI: https://doi.org/10.17771/PUCRio.acad.1348
Resumo:
This dissertation investigates the application of
Reinforcement Learning methods to the discovery of
optimal routes in communication networks. Any current
communication network displays dynamic behavior,
changing its states over time. Therefore, the routing
algorithms must react swiftly to changes in the network
status. The objective of this work is to evaluate the
application of some Reinforcement Learning techniques to
define adaptive packet routing algorithms. The packet
routing problem under the RL vision consists in the
definition of each node on network as an RL agent. Thus,
each agent must take actions in order to minimize an
objective function such as end to end packet routing delay.
One main objective of the RL is precisely learning to
take the actions that minimize a given function.
This thesis is consists of 4 main parts: first, a study of
Reinforcement Learning (RL); a study of the
communication networks and packet routing; the routing
problem model as a RL system and the implementation
of several RL methods in order to obtain some routing
algorithms; e finally, the case study.
The study of Reinforcement Learning extends from the more
basic definitions, Reinforcement Learning
features, elements of a RL system and environment modeling
as a Markovian Decision Process, to the basic
methods of solution: Dynamic Programming, Monte Carlo
methods and Temporal Differences methods. In this
last case, two specific algorithms have been considered: TD
and Q-Learning, and, finally, the Eligibility Traces
are evaluated as a useful tool that permits us to
accelerate the learning process leading to the TD(lambda)
and the Q(lambda) routing algorithms. The study on
communication networks and packet routing
involves the foundations of communication networks, packet
switching, the packet routing problem, and adaptive and non-
adaptive routing algorithms used
at the present time. Communication networks are defined as
a set of nodes connected through communication
links. In order to send a message from a source node to a
destination node usually the message is broken into
segments called packets, and these are sent through other
nodes until arriving at the destination. In this way the
problem appears to choose the path which takes the shortest
possible time for the packet to reach the destination
node. The following algorithms have been analyzed: Shortest
Path Routing that looks for paths with minimal
hop number, not being sensible to the changes of load level
and network topology; Weighted Shortest Path
Routing that offers better performance from a global vision
of the state of the network, which is not always easy
to get in real networks; on the other hand, the Bellman-
Ford routing algorithm was studied, this is based on local
routing decisions and periodic updates, with some
limitations to obtain policies in high load conditions.
Bellman-Ford
is one of the algorithms most used at the present time,
being the basis for many existing routing protocols.
The modeling of the routing problem as a RL system was
inspired by one of the main features of the
definition of an RL system: an agent who interacts with the
environment and learns to reach an objective;
therefore, the modeling of the routing algorithms has as
its objective to learn to discover the paths that minimize
packet routing time from an origin to an destination. The
evaluation of a chosen route cannot be completed
before the package reaches its final destination. This fact
implies that supervised learning cannot be applied to
the routing problem. On the other hand, Reinforcement
Learning does not need a input-output pair for the
learning process, allowing it to approach the problem with
relative ease. In the modeling, each network node is
viewed as a RL agent that acts in the same network; the
network is the environment. The routing information is
stored in the existing value functions in all nodes in the
network, for each node and all another destination node
Descrição | Arquivo |
COMPLETE |