[en] 3D POSE ESTIMATION AND TRACKING IN REAL TIME FROM MULTIPLE CAMERAS

[pt] ESTIMATIVA E RASTREAMENTO DE POSE 3D EM TEMPO REAL A PARTIR DE MÚLTIPLAS CÂMERAS

[pt] YURI VELASQUEZ RIVAS DA SILVA MOREIRA

[pt] MATHEUS MELLO DE SOUZA MENDES

[pt] VISAO COMPUTACIONAL

[pt] ESTIMATIVA DE POSE HUMANA 3D

[en] COMPUTER VISION

[en] 33D HUMAN POSE ESTIMATIONHUMAN POSE ESTIMATION

[pt] Este trabalho tem como foco o desenvolvimento de um sistema de estimativa de poses 3D em tempo real para rastreamento de movimentos humanos. A estimativa de pose é vital na visão computacional e tem aplicações em entretenimento, esportes, saúde e robótica. O desafio de estimar poses 3D envolve identificar as principais articulações do corpo e suas relações espaciais, criando uma representação esquelética de figuras humanas, que é complicada por fatores como oclusões, variações do ponto de vista da câmera e interações próximas entre os indivíduos. O projeto propõe uma solução de baixo custo mesmo que isso possa resultar em uma diminuição na precisão geral do sistema, ele fornece uma alternativa aos sistemas padrão da indústria usados na captura de movimento. Utilizamos um número arbitrário de câmeras (n≥4) para minimizar erros de projeção e rastreamento causados por oclusões do alvo. A abordagem adotada neste projeto envolve uma lógica de reconstrução, como visto na fig 1-a. A linguagem de programação Python é usada para processamento de imagens, com a ajuda da biblioteca OpenCV para reconstrução de poses 3D. A câmera escolhida para o projeto é Intelbras VIP1430 B G2, e a implementação de código aberto MediaPipe do Google é usada para estimativa de pose 2D. As limitações desta abordagem e possíveis melhorias também são discutidas, fornecendo uma base sólida para futuras pesquisas e aplicações no campo.

[en] This work focuses on the development of a real-time 3D pose estimation system for tracking human movements. Pose estimation is vital in computer vision and has applications in entertainment, sports, healthcare and robotics. The challenge of estimating 3D poses involves identifying the body s major joints and their spatial relationships, creating a skeletal representation of human figures, which is complicated by factors such as occlusions, variations in camera point of view, and close interactions between individuals. The project proposes a low cost solution even though this may result in a decrease in overall system accuracy, it provides an alternative to industry standard systems used in motion capture. We used an arbitrary number of cameras (n≥4) to minimize projection and tracking errors caused by target occlusions. The approach adopted in this project involves a reconstruction logic, as seen in fig 1-a. The Python programming language is used for image processing, with the help of the OpenCV library for 3D pose reconstruction. The camera chosen for the project is Intelbras VIP1430 B G2, and Google s MediaPipe open source implementation is used for 2D pose estimation. The limitations of this approach and possible improvements are also discussed, providing a solid basis for future research and applications in the field.

WOUTER CAARLS

2023-07-13

[pt] TEXTO

application/pdf

PORTUGUÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=63208@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=63208@2

https://doi.org/10.17771/PUCRio.acad.63208