[en] A METHOD FOR REAL-TIME GENERATION OF VIDEOKE FROM VIDEO STREAMING

[pt] UM MÉTODO PARA GERAÇÃO EM TEMPO REAL DE VIDEOKÊ A PARTIR DE STREAMING DE VÍDEO

[pt] MATHEUS ADLER SOARES PINTO

[pt] ARQUITETURA DE SOFTWARE

[pt] PROCESSAMENTO EM TEMPO REAL

[pt] SISTEMA MULTIMIDIA

[pt] INTELIGENCIA ARTIFICIAL

[en] SOFTWARE ARCHITECTURE

[en] REAL-TIME PROCESSING

[en] MULTI-MEDIA SYSTEM

[en] ARTIFICIAL INTELLIGENCE

[pt] Sistemas tradicionais de karaokê geralmente utilizam vídeos pré-editados, o que limita a criação de experiências de videokê. Nesta dissertação, propomos um novo método para a geração de videokê em tempo real a partir de fontes de streaming de vídeo, chamado Gerador de Videokê. Este método combina técnicas de processamento de vídeo e áudio para gerar automaticamente videokê e é projetado para realizar o processamento em tempo real ou próximo a isso. Os principais objetivos deste estudo são formular uma metodologia para processar vídeos em fluxo contínuo e gerar videokê em tempo real, mantendo características essenciais como a supressão das vozes principais da música e a geração automática de legendas destacando palavras. Os resultados obtidos representam uma contribuição significativa para o campo da geração de multimídia em tempo real. O método foi implementado em uma arquitetura cliente/servidor para testes. Essas contribuições representam um avanço no campo dos sistemas de entretenimento e multimídia, pois introduzem uma nova metodologia para a criação de experiências de videokê. Até onde sabemos, este é o primeiro trabalho que aborda o desenvolvimento de um gerador de videokê em tempo real que realiza sincronização automática e destaque a nível de palavras, com base em uma revisão da literatura.

[en] Traditional karaoke systems typically use pre-edited videos, which limits the creation of videoke experiences. In this dissertation, we propose a new method for generating videoke in real-time from video streaming sources, called the videoke Generator. This method combines video and audio processing techniques to automatically generate videoke and is designed to perform processing in real-time or near real-time. The main objectives of this study are to formulate a methodology to process videos in continuous flow and to generate videoke in real-time while maintaining essential features such as the suppression of the main voices of the music and the automatic generation of subtitles highlighting words. The results obtained represent a significant contribution to the field of real-time multimedia generation. The method was implemented in a client/server architecture for testing. These contributions represent a step forward in the field of entertainment and multimedia systems as they introduce a new methodology for the creation of videoke experiences. To our knowledge, this is the first work that addresses the development of a real-time videoke generator that performs automatic synchronization and highlighting at the word level, based on a literature review.

SERGIO COLCHER

SERGIO COLCHER

JULIO CESAR DUARTE

ANTONIO JOSE GRANDSON BUSSON

2024-03-21

2023-09-28

[pt] TEXTO

application/pdf

INGLÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=66270@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=66270@2

https://doi.org/10.17771/PUCRio.acad.66270