Observatorio Tecnológico Cátedra RTVE

Uno de los objetivos de la cátedra es la divulgación de las tecnologías de la información y comunicaciones relacionadas con el Big Data aplicadas al análisis de contenidos audiovisuales y sonoros. En esta sección podrás encontrar artículos divulgativos describiendo el estado del arte de las diversas tecnologías implicadas.
En el congreso Iberspeech 2018 celebrado en Barcelona en noviembre de 2018, la cátedra RTVE-UNIZAR organizó una evaluación de sistemas de conversión voz a texto, diarización de hablantes y multimodal sobre contenido de programas emitidos por RTVE. Un resumen de los resultados obtenidos has sido publicados en la revista Applied Science.
Lleida, E.; Ortega, A.; Miguel, A.; Bazán-Gil, V.; Pérez, C.; Gómez, M.; de Prada, A. Albayzin 2018 Evaluation: The IberSpeech-RTVE Challenge on Speech Technologies for Spanish Broadcast Media. Appl. Sci. 2019, 9, 5412.
En el congreso Iberspeech 2022 celebrado en Granada en noviembre de 2022, la cátedra RTVE-UNIZAR organizó una evaluación de sistemas de conversión voz a texto, diarización de hablantes y sincronización de subtítulos sobre contenido de programas emitidos por RTVE. Un resumen de los resultados obtenidos has sido publicados en la revista Applied Science.
Lleida, E., Rodriguez-Fuentes, L. J., Tejedor, J., Ortega, A., Miguel, A., Bazán, V., Pérez, C., de Prada, A., Penagarikano, M., Varona, A., Bordel, G., Torre-Toledano, D., Álvarez, A., & Arzelus, H. An Overview of the IberSpeech-RTVE 2022 Challenges on Speech Technologies. Applied Sciences, 13(15), 8577. https://doi.org/10.3390/app13158577
En el congreso Iberspeech 2024 celebrado en Aveiro (Portugal) hemos presentado reultados de la búsqueda semántcia sobre videos sin sonido
García Cutando, M., Lleida Solano, E., Bazán Gil, V., Ortega Giménez, A., Artiaga, A.M. (2024) Information Retrieval through Autonomous Agents. Proc. IberSPEECH 2024, 161-165, doi: 10.21437/IberSPEECH.2024-33

Pruebas de concepto de la Cátedra

Dos pruebas de concepto desarrolladas en la Cátedra RTVE-UNIZAR que exploran el uso de la inteligencia artificial para dar acceso al patrimonio audiovisual y documental de RTVE cuando los metadatos tradicionales son escasos o inexistentes.

Búsqueda semántica de escenas en el archivo fílmico de RTVE

Mapa visual del archivo en la herramienta BuscaEscenas Una parte muy relevante del archivo fílmico de RTVE —noticiarios y metraje producido entre los años 50 y finales de los 80— se conserva como material en bruto, en muchos casos sin audio, sin subtítulos y con una documentación mínima, lo que limita los buscadores basados en metadatos textuales. En esta prueba de concepto investigamos la recuperación semántica multimodal, en la que el acceso se apoya únicamente en la información visual de las imágenes.

Una primera versión, basada en embeddings CLIP, fue evaluada por documentalistas profesionales en dos fases (375 búsquedas): al ampliar el conjunto visual, la proporción de búsquedas con al menos un resultado relevante entre los 10 primeros pasó del 86,8 % al 92,2 %. Una segunda versión fusiona tres modelos de embeddings multimodales (SigLIP2, EmbeddingGemma2 y Qwen3-VL-Embedding) mediante una normalización de las puntuaciones de similitud a nivel de colección, cuyo coste por consulta no depende del tamaño del archivo. Para evaluarla sin documentalistas se construyó RTVE Shots DB, una colección de test con 1.485 consultas redactadas por un modelo de visión-lenguaje en cinco niveles de detalle y juicios de relevancia de un LLM juez calibrado, aplicados sobre los 48.137 planos de la colección. La fusión mejora significativamente al mejor modelo individual (+3,8 puntos de precisión en el primer resultado para consultas en español) y, sobre las consultas de los documentalistas, eleva la precisión entre los 10 primeros de 0,613 a 0,858.
Los resultados muestran que los embeddings multimodales son una vía viable y orientada al concepto para desbloquear archivos audiovisuales sin metadatos, y que estos sistemas pueden evaluarse a gran escala cuando los evaluadores expertos son escasos.

Telerín: asistente del archivo histórico de TVE con agentes LLM

Logo del asistente Telerín Telerín es un asistente multiagente que permite consultar en lenguaje natural el archivo histórico de los primeros años de TVE. Desarrollado en el marco del 70.º aniversario de TVE, da acceso a la revista TeleRadio (1958-1969) —programación de TV y radio, publicidad, artículos e imágenes— y a los partes de emisión conservados en el Archivo General de la Administración (1966-1969), que permiten contrastar lo que se anunciaba con lo que realmente se emitió cada día.
Entre los fondos indexados se incluyen más de 620 ejemplares de la revista, cerca de 36.000 páginas, más de 220.000 entradas de programación, casi 97.000 imágenes recortadas e indexadas y 2.281 partes de emisión diarios (unas 20.600 horas de emisión). El sistema combina búsqueda híbrida (BM25 + semántica vectorial) sobre CrateDB, reranking neural, embeddings de imagen SigLIP2 y búsqueda facial, orquestados por un agente ReAct basado en LangGraph. Cada respuesta incorpora enlaces a los documentos originales.

Telerín está disponible de forma gratuita y sin registro en telerin.rtve.es/telerin.