[en] A FEW-SHOT LEARNING APPROACH FOR VIDEO ANNOTATION

[pt] UMA ABORDAGEM FEW-SHOT LEARNING PARA ANOTAÇÃO DE VÍDEOS

[pt] DEBORA STUCK DELGADO DE SOUZA

[pt] ANOTACAO DE VIDEOS

[pt] DETECCAO DE ACOES

[en] VIDEO NOTATION

[en] ACTION SPOTTING

[pt] Cada vez mais, os vídeos se tornam uma parte integrante de nossa vida cotidiana. Plataformas como YouTube, Facebook e Instagram recebem uma enorme quantidade de horas de vídeo todos os dias. Quando focamos na categoria de vídeos esportivos, é evidente o crescente interesse em obter dados estatísticos, especialmente no futebol. Isso é valioso tanto para melhorar a performance de atletas e equipes quanto para plataformas que utilizam essas informações, como as de apostas. Consequentemente, o interesse em resolver problemas relacionados à Visão Computacional tem aumentado. No caso do Aprendizado Supervisionado, a qualidade das anotações dos dados é mais um ponto importante para o sucesso das pesquisas. Existem várias ferramentas de anotação disponíveis no mercado, porém poucas com o foco nos quadros relevantes e com suporte a modelos de Inteligência Artificial. Neste sentido, este trabalho envolve a utilização da técnica de Transfer Learning com a extração de features em uma Rede Neural Convolucional (CNN); a investigação de um modelo de classificação baseado na abordagem Few-Shot Learning em conjunto com o algoritmo K-Nearest Neighbors (KNN); a avaliação dos resultados com abordagens diferentes para o balanceamento de classes; o estudo da geração do gráfico 2D com o t-Distributed Stochastic Neighbor Embedding (t-SNE) para análise das anotações e a criação de uma ferramenta para anotação de frames importantes em vídeos, com o intuito de auxiliar as pesquisas e testes.

[en] More and more videos are part of our daily life. Platforms like Youtube, Facebook and Instagram receive a large amount of hours of videos every day. When we focus on the sports videos category, the growing interest in obtaining statistical data is evident, especially in soccer. This is valuable both for improving the performance of athletes and teams and for platforms that use this information, such as betting platforms. Consequently, interest in solving problems related to Computer Vision has increased. In the case of Supervised Learning, the quality of data annotations is another important point for the success of research. There are several annotation tools available on the market, but few focus on relevant frames and support Artificial Intelligence models. In this sense, this work involves the use of the Transfer Learning technique for Feature Extraction in a Convolutional Neural Network (CNN); the investigation of a classification model based on the Few-Shot Learning approach together with the K-Nearest Neighbors (KNN) algorithm; evaluating results with different approaches to class balancing; the study of 2D graph generation with t-Distributed Stochastic Neighbor Embedding (t-SNE) for annotation analysis and the creation of a tool for annotating important frames in videos, with the aim of assisting research and testing.

HELIO CORTES VIEIRA LOPES

LUIZ JOSE SCHIRMER SILVA

HELIO CORTES VIEIRA LOPES

SIMONE DINIZ JUNQUEIRA BARBOSA

ALBERTO BARBOSA RAPOSO

LUIZ JOSE SCHIRMER SILVA

2024-07-04

2024-04-19

[pt] TEXTO

application/pdf

PORTUGUÊS

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=67206@1

https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=67206@2

https://doi.org/10.17771/PUCRio.acad.67206