Este trabalho tem como objetivo analisar o desempenho de algoritmos de aprendizado por reforço profundo aplicados à tarefa de condução autônoma em ambientes de simulação. A pesquisa utiliza a plataforma AWS DeepRacer e sua versão de código aberto, o DeepRacer-for-Cloud (DRfC), para realizar treinamentos e experimentos locais. Foram empregados os algoritmos Proximal Policy Optimization (PPO) e Soft Actor-Critic (SAC), comparando-se seus resultados em diferentes pistas e configurações de treinamento. A análise busca compreender como variações nos hiperparâmetros e na função de recompensa impactam o desempenho dos agentes, bem como discutir as vantagens e limitações do uso de uma infraestrutura local em relação ao serviço em nuvem da AWS.