[pt] GAUSSIAN SPLATING EM AMBIENTES NÃO CONTROLADOS ATRAVÉS DO USO DE APPEARANCE EMBEDDING E MÁSCARAS DE OCLUSÃO

[en] GAUSSIAN SPLATTING IN-THE-WILD THROUGH THE USE OF APPEARANCE EMBEDDING AND OCCLUSION MASKS

[pt] MARCO ANTONIO BARBOSA TEIXEIRA

[pt] COMPUTACAO GRAFICA

[pt] EMBEDDING DE APARENCIA

[pt] GAUSSIAN SPLATTING

[pt] RENDERIZACAO NEURAL

[en] COMPUTER GRAPHICS

[en] APPEARANCE EMBEDDING

[en] GAUSSIAN SPLATTING

[en] NEURAL RENDERING

[pt] O campo da renderização neural tem experimentado avanços significativos nos últimos anos, especialmente com o desenvolvimento de técnicas como Neural Radiance Fields (NeRF) e Gaussian Splatting. Essas abordagens permitem a síntese de novas visualizações de cenas com alta fidelidade, sendo fundamentais para aplicações em realidade virtual, realidade aumentada e computação gráfica. Neste trabalho, propomos uma metodologia que combina embeddings de aparência com Gaussian Splatting para aprimorar a renderização de cenas capturadas em ambientes não controlados (in-the-wild). Nossa abordagem transforma índices de imagens em vetores de alta dimensão dentro de um espaço latente, permitindo a modulação dinâmica das características visuais. Além disso, utilizamos máscaras de oclusão para separar elementos estáticos e transitórios, melhorando a consistência visual e a fidelidade da reconstrução. Os resultados obtidos evidenciam o potencial da técnica na resolução de desafios encontrados em ambientes in-the-wild, permitindo uma melhor adaptação visual e ajustes dinâmicos para diferentes condições de iluminação e oclusão. Isso amplia o alcance de aplicações em computação gráfica e realidade aumentada, além de fortalecer os benefícios da técnica de Gaussian Splatting, elevando ainda mais sua qualidade e expandindo seus potenciais para aplicações futuras.

[en] The field of neural rendering has seen significant advancements in recent years, particularly with the development of techniques such as Neural Radiance Fields (NeRF) and Gaussian Splatting. These approaches enable the synthesis of novel views with high fidelity, making them essential for applications in virtual reality, augmented reality, and computer graphics. In this work, we propose a methodology that combines appearance embeddings with Gaussian Splatting to enhance the rendering of scenes captured in uncontrolled environments (in-the- wild). Our approach transforms image indices into high-dimensional vectors within a latent space, allowing for dynamic modulation of visual characteristics. Additionally, we use occlusion masks to separate static and transient elements, improving visual consistency and reconstruction fidelity. The results obtained demonstrate the potential of this technique in addressing challenges found in in- the-wild environments, allowing for better visual adaptation and dynamic adjustments under different lighting and occlusion conditions. This broadens the scope of applications in computer graphics and augmented reality while strengthening the advantages of Gaussian Splatting, further improving its quality and expanding its potential for future applications.

ALBERTO BARBOSA RAPOSO

VINICIUS DA SILVA

ALBERTO BARBOSA RAPOSO

GUILHERME GONCALVES SCHARDONG

TIAGO NOVELLO DE BRITO

VINICIUS DA SILVA

2025-09-16

2025-04-30

[pt] TEXTO

application/pdf

PORTUGUÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=73045@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=73045@2

https://doi.org/10.17771/PUCRio.acad.73045