Cómo Prime Video utiliza la IA para impulsar su participación | Exclusivo

Mientras Amazon busca capitalizar la rápida evolución de la inteligencia artificial, el gigante tecnológico ha incorporado esta tecnología en varias funciones de Prime Video diseñadas para hacer la plataforma más eficiente, inclusiva y más fácil de navegar para sus 200 millones de usuarios activos en todo el mundo. 115 millones en EE.UU.

Esto incluye resúmenes de episodios o incluso temporadas generados por IA mediante el análisis de segmentos de vídeo y subtítulos. También hay una función emergente impulsada por IA para Thursday Night Football que proporciona información sobre jugadores y equipos durante los juegos de la NFL. Y luego, por supuesto, está la personalización que sugiere qué deberían ver los espectadores a continuación. Si bien esta personalización anteriormente estaba respaldada por la IA tradicional, la IA generativa ha potenciado esta iniciativa.

“Llevamos 20 años trabajando en IA. Entonces, todo lo que hacemos en torno al contenido, el descubrimiento y la personalización se basa en la inteligencia artificial, y ese es el núcleo de nuestro servicio”, dijo a TheWrap el vicepresidente de producto de Prime Video, Adam Gray, en una entrevista exclusiva. “Cuando buscas el primer destino de entretenimiento Clientes que reúnen todas sus suscripciones en un solo lugar, lo que realmente ofreces es una manera fácil de encontrar las mejores películas, programas de televisión y deportes en vivo para ti en todo el mundo. eso”.

Según Gray, las mejoras centradas en la IA aumentarán la participación en la plataforma. Por ejemplo, la nueva función X-Ray Recap de Prime Video es la función más utilizada del servicio en Fire TV, dijo la compañía.

“Estamos muy contentos de participar en todas las funciones y estamos interesados ​​en ver si hay algún problema práctico que podamos resolver”, dijo Gray. “Entonces, a medida que implementemos funciones, veremos si se están utilizando de esa manera y cómo podemos aprovechar eso”.

Personalización, ampliación de diálogos y audiodescripción.

Una de las principales actualizaciones de Prime Video impulsadas por la inteligencia artificial es la personalización, que utiliza la tecnología para hacer más recomendaciones de contenido al ayudar a los usuarios a encontrar películas y programas con tramas y arcos de personajes similares a sus selecciones favoritas. También agrupa títulos según los intereses de los usuarios en colecciones “Hechas para usted”.

“Una de las cosas principales que siempre tratamos de resolver cuando se trata de recomendaciones es tratar de comprender los hábitos y necesidades de los clientes, y eso es muy, muy complejo. Tenemos el historial de flujo que obtenemos de los clientes y entendemos sus gustos. y hábitos a través de esto”, dijo Girish Bajaj, vicepresidente de tecnología de Prime Video.

“También hay mucha intención creativa en la creación de contenido y sus diferentes dimensiones. Por lo tanto, comprender el contenido en sí es otra área de experiencia en la que debemos desarrollarnos”, afirmó. “Cuando comprendes muy bien a tus clientes y comprendes muy bien el contenido, entonces puedes construir relaciones y comenzar a recomendar contenido que realmente resuene con tu cliente”.

pantalla de vídeo principal
Prime Video utiliza IA para identificar películas y programas que tienen puntos de trama y arcos de personajes similares a tus selecciones favoritas, adaptando el contenido ofrecido a tus gustos específicos (Foto de Prime Video)

Esta característica está impulsada por Amazon BedRock, un servicio de Amazon Web Services (AWS) totalmente administrado para crear y escalar aplicaciones de IA generativa con modelos fundamentales.

“Hemos estado utilizando modelos tradicionales de aprendizaje automático de IA para hacer recomendaciones durante muchos años, y la IA generativa nos ha brindado una nueva puerta para hacerla aún más impactante y significativa para los clientes”, dijo Bajaj. “Esto nos ayudó a profundizar en la comprensión de la naturaleza semántica y los atributos del contenido en sí”.

ampliación del diálogo
Dialogue Boost utiliza IA para analizar el audio de una película o serie de televisión, identificar puntos donde el diálogo es difícil de escuchar, aislar patrones de habla y mejorar el audio para ayudar a los espectadores a captar cada palabra (Foto de Prime Video).

Además, Prime Video tiene una función de mejora de diálogos que utiliza IA para analizar el audio de una película o serie, identificar puntos donde el diálogo es difícil de escuchar, aislar patrones de habla y mejorar el audio para ayudar a los espectadores a comprender cada palabra en idiomas. incluido el inglés. Español, francés, italiano, alemán, portugués e hindi.

También ofrece descripción de audio, una herramienta de narración basada en inteligencia artificial que describe elementos visuales clave de un video para hacer que el contenido sea más accesible para los usuarios ciegos y videntes. La tecnología detecta lagunas en el diálogo para ayudar a los equipos de producción de Prime Video a crear guiones de descripción de audio más rápido.

Logotipo de Prime Video

conclusión de la radiografía

Los modelos de Bedrock, así como los modelos de inteligencia artificial entrenados en Amazon SageMaker, también se utilizan en los X-Ray Recaps lanzados recientemente por Prime Video, que analizan segmentos de video junto con subtítulos o diálogos para describir eventos, ubicaciones, horas y conversaciones detalladas para episodios específicos o incluso temporadas enteras en títulos completos.

“Si se hiciera esto utilizando enfoques tradicionales, el costo de desarrollo sería exponencialmente mayor. Su enfoque generativo de IA ha reducido drásticamente el costo de desarrollo y despliegue a escala”, dijo Bajaj. “Es una forma de seguir ese desarrollo”. y llevarlo a los clientes. Y eso es algo que sabemos que los clientes quieren y usan”.

“Hasta la fecha, cuando la gente hace este tipo de replicación, es sólo para contenido premium porque es demasiado costoso hacerlo manualmente”, dijo Gray. “Así que la idea de hacer esto en cada título de nuestro extenso catálogo es una solución que sólo ocurre con el poder de la IA”.

conclusión de la radiografía
Utilizando una combinación de modelos de Amazon Bedrock y modelos de IA personalizados entrenados en Amazon SageMaker, X-Ray Recaps analiza diferentes segmentos de video junto con subtítulos o diálogos para generar descripciones detalladas de eventos, lugares, horarios y conversaciones. (Foto cortesía de Prime Video)

Los guardils también se utilizan para garantizar la producción de resúmenes concisos y sin spoilers, que son supervisados ​​por el equipo de producción de Prime Video.

“Cuando creamos estas funciones por primera vez, hay mucho trabajo manual para garantizar la calidad a medida que las perfeccionamos, y a medida que mejoramos mucho en las guardias en torno a las instrucciones que usamos, con el tiempo obtenemos menos y necesitamos menos”, dijo Bajaj. . “Seguirá habiendo personal manual involucrado en las auditorías para garantizar que la calidad continúe, pero al principio es mayor y luego la escala aumenta a medida que se mejora”.

“Thursday Night Football” de Prime Video también incorpora IA en su presentación de deportes en vivo, desarrollada en colaboración con productores, ingenieros, exjugadores de la NFL de “TNF” y el equipo de IA y visión por computadora de Prime Video Sports. Prime Insights destaca a los jugadores clave, ilumina aspectos ocultos del juego y predice momentos clave antes de que sucedan.

“Si nos fijamos en la NFL, fue hace más de 25 años cuando introdujeron la línea amarilla para los primeros intentos, lo que realmente la hizo mucho más accesible. Y hasta que vimos cómo podíamos usar la IA para cambiar eso, había muy poca innovación en el juego. Así que estamos viendo cómo podemos hacer que el juego sea más accesible y más fácil de entender para la gente”, explicó Gray. “La idea principal es que quienquiera que esté mirando, queremos que pueda tener una experiencia más entretenida porque hay una Hay muchos detalles sobre lo que está sucediendo en el juego”.

Defensive Alerts rastrea a los jugadores defensivos antes de un centro e identifica en tiempo real a los “jugadores interesados” que probablemente apresuren al mariscal de campo.

“Observa miles de puntos de datos, la ubicación de los jugadores y sus movimientos, para identificar las jugadas que probablemente ejerzan presión sobre el mariscal de campo. Ponemos una bola roja debajo de ellas”, dijo Gray. “Es un gran ejemplo de eso. es empezar a ver el juego como un mariscal de campo o un coordinador ofensivo”.

Prime Video también lanzará una extensión en las próximas semanas llamada Alertas de presión, que alertará a los defensores durante la acción directa en la línea ofensiva y resaltará a aquellos que pueden interrumpir el juego, así como Detección de cobertura, que utiliza un modelo de IA combinado con datos en vivo. Seguimiento de jugadores para determinar un plan defensivo, como hombre a hombre o zona, para los fanáticos en tiempo real antes del centro.

Información privilegiada TNF
Las alertas defensivas mejoran la experiencia visual al rastrear a los jugadores defensivos antes del centro e identificar en tiempo real “jugadores de interés” que probablemente apresuren al mariscal de campo. (Foto cortesía de Prime Video)

Si bien la pareja se negó a revelar qué funciones impulsadas por IA están por venir, enfatizaron que el servicio de transmisión apenas está comenzando.

“La única forma en que podemos hacer cosas a escala es a través del descubrimiento de contenido y una experiencia más inmersiva cuando los clientes ven contenido a través de IA. Así que veremos cómo aumenta la velocidad”, dijo Gray. “Los grupos realmente están aprendiendo cómo pueden moverse más rápido, innovar y aprovecharlo. Así que es realmente un cambio en toda la estructura de cómo se construye”.

“Casi todos los equipos de Prime Video dependen de la IA y generan IA en todos los equipos”, añadió Bajaj. “Así que hay mucho más por venir”.

Interfaz de usuario de la biblioteca de vídeos de Pluto (Foto de Pluto TV)

Fuente