El logotipo de la aplicación ChatGPT se muestra en la pantalla de un teléfono inteligente en Reno, Estados Unidos, el 21 de noviembre de 2024. (Foto de Jaque Silva/NurPhoto vía Getty Images)
NurPhoto a través de Getty Images
Las personas utilizan asistentes de IA para responder todo tipo de preguntas aleatorias y probablemente esperan que las respuestas que obtengan sean precisas.
Pero según nuevos datos de la plataforma de datos y metadatos de transmisión Reelgood, un análisis de precisión controlada de los datos de disponibilidad de títulos de transmisión encontró que ChatGPT obtuvo una puntuación del 43,76 % y Claude obtuvo una puntuación del 50,21 % cuando se le preguntó dónde se pueden transmitir los principales títulos de televisión y películas.
El análisis, realizado por Reelgood el 5 de marzo de 2026, comparó cada fuente con el mismo conjunto de 50 películas y 50 programas de televisión utilizando las mismas preguntas.
En comparación, la misma consulta recibió una tasa de precisión del 96,89% utilizando datos recopilados por Reelgood, que proporciona datos de disponibilidad y metadatos de contenido en más de 300 servicios en más de 25 países.
En una entrevista que realicé con el director ejecutivo de Reelgood, David Sanderson, en abril, explicó que el problema con el uso de asistentes de inteligencia artificial es que dependen principalmente de datos de la web, lo que puede afectar significativamente la precisión de las respuestas:
Hay un ejemplo del que siempre hablamos internamente. Aquí hay algunas películas sobre Las Vegas. Y cuando le preguntas a uno de los LLM de qué trata la película, dices algo como “Oh, todos se lo van a pasar genial en Las Vegas”.
Pero en realidad, la película trata sobre el tiroteo que ocurrió en Las Vegas. Entonces ese es un buen ejemplo. Necesita datos precisos detrás de esto.
Y el otro, con IA o experiencias de chat, si desea saber dónde está disponible un contenido, muchos de esos datos se recopilan rastreando la web. Y aparecerán un montón de publicaciones que dicen “Oye, esta película está en Hulu”.
Pero el sitio no escribió un artículo de seguimiento que diga “Esta película ya está disponible en Hulu” y eso puede crear datos incorrectos que presentan los LLM. Recientemente hicimos un estudio sobre este tema y descubrimos que cuando se utilizan problemas estándar de LLM para preguntas como esta, aproximadamente la mitad de las veces muestran datos incorrectos.
Seis patrones de errores sistemáticos que provocan respuestas inexactas
En este estudio específico, Reelgood identificó algunos problemas específicos que causan problemas de precisión al usar ChatGPT con Claude:
Disponibilidad obsoleta. Las modelos seguramente informarán sobre los títulos que se transmiten actualmente en el servicio que abandonaron. La razón es estructural: la prensa de entretenimiento cubre ampliamente las nuevas incorporaciones al catálogo, pero rara vez hace un seguimiento cuando el título deja de publicarse semanas o meses después. El corpus de entrenamiento está muy inclinado al anuncio, por lo que el modelo trata lo antiguo de manera positiva como lo es hoy. Este es el patrón de error más generalizado observado.
Complemento y un montón de Galau. Los modelos suelen tratar los títulos disponibles a través de canales complementarios pagos (como Starz o Paramount+ en Amazon Prime Video) como si fueran parte de la suscripción básica del servicio principal. A los usuarios se les dice que el título se transmite “en Prime Video” cuando acceder a él en realidad requiere un complemento separado de Starz o Paramount+ dentro de Prime Video, lo que crea la falsa impresión de que una suscripción existente lo cubre.
Brechas en el servicio de cola larga. Los servicios gratuitos y con publicidad como Tubi, Pluto TV, Fawesome, Hoopla y Kanopy se omiten sistemáticamente, incluso si son fuentes legítimas para un título determinado.
Combinación SVOD/TVOD. A veces, los modelos enumeran opciones de servicio como una suscripción (SVOD) cuando el título solo está disponible para alquiler o compra, engañando a los usuarios sobre lo que realmente cubre su suscripción existente.
TVOD ciego. Ambos modelos prácticamente eliminan las opciones transaccionales de vídeo bajo demanda (alquiler/compra) de servicios como Apple TV y Amazon, lo que afecta a la mayoría de los títulos probados.
Error al desambiguar el título. Cuando existen múltiples versiones de un título (p. ej. Una piezaque cuenta con una serie de anime y una adaptación live-action de Netflix), el modelo combina disponibilidad en diferentes versiones.
Lo que significa en el mundo real
La investigación de Reelgood proporciona algunos ejemplos del mundo real de las respuestas que los usuarios pueden recibir cuando preguntan sobre la disponibilidad de algunos títulos actuales.
Una pieza (2023)
Tanto ChatGPT como Claude confundieron la serie de acción en vivo de Netflix de 2023 con el anime de larga duración, enumerando incorrectamente a Crunchyroll y Hulu como fuentes legítimas. Claude también enumeró “Crunchyroll Amazon Channel” y “TV Guide” como fuentes. Reelgood identifica correctamente el título como exclusivo de Netflix (disponible en Netflix y Netflix con anuncios). Se trata de un claro fallo en la desambiguación del título, donde el modelo no puede distinguir entre dos producciones diferentes con el mismo nombre.
El presagio (1976)
ChatGPT incluyó incorrectamente a Hulu como fuente y Claude incluyó incorrectamente a Netflix. En ambos casos, los títulos no están disponibles en la plataforma que les da nombre.
