Embora os sistemas multimídia tradicionais se concentrem na codificação e no armazenamento eficientes de tipos de mídia e suas relações temporais, a demanda atual por experiências mais ricas e personalizadas exige uma compreensão mais profunda do conteúdo semântico dessas mídias. Neste estudo, propomos a integração do processamento de nível semântico aos sistemas multimídia, enriquecendo o conteúdo com informações sobre entidades do mundo real, como objetos, ações, agentes e interpretação de linguagem. A principal contribuição desta dissertação é a apresentação de uma arquitetura para enriquecimento de dados multimídia em tempo real que usa técnicas de aprendizado de máquina para extrair representações semânticas incorporando as ao fluxos de dados multimídia como um serviço nativo e básico. Para demonstrar concretamente a proposta, implementamos dois casos de uso que servem como provas de conceito, mostrando a viabilidade da arquitetura e sua eficácia em cenários práticos.