Cómo pueden funcionar los sistemas de recomendación como Google Discover

Google Discover es en gran medida un misterio para los editores y la comunidad de marketing de búsqueda, a pesar de que Google ha publicado una guía oficial sobre qué es y qué creen que los editores deberían saber al respecto. Sin embargo, es tan misterioso que generalmente ni siquiera se lo considera un sistema de recomendación, pero eso es lo que es. Esta es una revisión de un artículo de investigación clásico que muestra cómo escalar un sistema de recomendación. Aunque es para YouTube, no es difícil imaginar cómo se puede adaptar este tipo de sistema a Google Discover.

Sistemas de recomendación

Google Discover pertenece a la clase de sistemas conocidos como sistemas de recomendación. Un sistema de recomendación clásico que recuerdo es el sistema MovieLens de 1997. Es un proyecto del departamento de ciencias de la universidad que permitía a los usuarios calificar películas y usaba esas calificaciones para recomendar películas para ver. La forma en que funcionó es que a las personas a las que les suele gustar este tipo de películas también les suelen gustar estos otros tipos de películas. Pero este tipo de algoritmos tienen limitaciones que les impiden alcanzar la escala necesaria para personalizar las recomendaciones de YouTube o Google Discover.

Modelo de sistema de recomendación de dos torres

El estilo moderno de los sistemas de recomendación a veces se denomina arquitectura de dos torres o modelo de dos torres. El modelo Two-Tower surgió como una solución para YouTube, aunque el artículo de investigación original (Deep Neural Networks for YouTube Recommendations) no utiliza este término.

Puede parecer contradictorio mirar a YouTube para comprender cómo funciona el algoritmo de Google Discover, pero el hecho es que el sistema que Google desarrolló para YouTube se convirtió en la base para escalar un sistema de recomendación para un entorno donde se generan cantidades masivas de contenido cada hora del día, las 24 horas del día.

Se llama arquitectura de las Dos Torres porque hay dos representaciones que se combinan entre sí, como dos torres.

En este modelo, que maneja la “recuperación” inicial de contenido de la base de datos, una red neuronal procesa la información del usuario para producir una incrustación del usuario, mientras que los elementos de contenido están representados por sus propias incrustaciones. Estas dos representaciones se comparan mediante puntuación de similitud en lugar de combinarse dentro de una única red.

Voy a repetir que el trabajo de investigación no se refiere a la arquitectura como una arquitectura de Dos Torres, es una descripción de este tipo de enfoque que se creó más tarde. Entonces, aunque el trabajo de investigación no usa la palabra torre, continuaré usándola ya que facilita la visualización de lo que sucede en este tipo de sistema de recomendación.

Torre de usuarios
User Tower procesa cosas como el historial de visualización de un usuario, tokens de búsqueda, ubicación y datos demográficos básicos. Utiliza estos datos para crear una representación vectorial que mapea los intereses específicos del usuario en un espacio matemático.

Torre de artículos
Item Tower representa contenido utilizando vectores de incrustación aprendidos. En la implementación original de YouTube, estos se entrenaron junto con el modelo de usuario y se almacenaron para una recuperación rápida. Esto permite que el sistema compare las “coordenadas” de un usuario con millones de “coordenadas” de video al instante, sin tener que ejecutar un análisis complejo en cada video cada vez que actualiza su feed.

El problema del contenido nuevo

El trabajo de investigación de Google ofrece una visión interesante de la frescura. El problema de la frescura se describe como un equilibrio entre explotación y exploración. El sistema de recomendación de YouTube tiene que equilibrar entre mostrar a los usuarios contenido que ya se sabe que es popular (explotación) y exponerlos a contenido nuevo y no probado (exploración). Lo que motiva a Google a mostrar contenido nuevo pero no probado, al menos en el contexto de YouTube, es que los usuarios muestran una fuerte preferencia por contenido nuevo y fresco.

El artículo de investigación explica por qué el contenido nuevo es importante:

«Cada segundo se suben a YouTube muchas horas de vídeos. Recomendar este contenido subido recientemente («nuevo») es extremadamente importante para YouTube como producto. Observamos constantemente que los usuarios prefieren contenido nuevo, aunque no a expensas de la relevancia».

Esta tendencia a mostrar contenido nuevo parece ser válida para Google Discover, donde Google tiende a mostrar contenido nuevo sobre temas que los usuarios son tendencia personalmente. ¿Alguna vez has notado cómo Google Discover tiende a favorecer el contenido nuevo? Los conocimientos que obtuvieron los investigadores sobre las preferencias de los usuarios probablemente se trasladen al sistema de recomendaciones de Google Discover. La conclusión aquí es que producir contenido de forma regular podría ser útil para que las páginas web aparezcan en Google Discover.

Una idea interesante de este artículo de investigación, y no sé si sigue siendo cierta, pero sigue siendo interesante, es que los investigadores afirman que los algoritmos de aprendizaje automático muestran un sesgo implícito hacia el contenido más antiguo existente porque están entrenados en datos históricos.

Ellos explican:

«Los sistemas de aprendizaje automático a menudo exhiben un sesgo implícito hacia el pasado porque están entrenados para predecir el comportamiento futuro a partir de ejemplos históricos».

La red neuronal se entrena con vídeos anteriores y aprenden que las cosas de hace uno o dos días eran populares. Pero esto crea un sesgo hacia cosas que sucedieron en el pasado. La forma en que resolvieron el problema de la actualización es cuando el sistema recomienda videos a un usuario (publicación), esta función basada en el tiempo está configurada en cero días (o ligeramente negativa). Esto le indica al modelo que está haciendo una predicción al final de la ventana de entrenamiento, lo que esencialmente lo obliga a predecir lo que es popular en este momento en lugar de lo que fue popular en promedio en el pasado.

Precisión de los datos de clics

El artículo de investigación fundamental de Google también proporciona información sobre las señales implícitas de comentarios de los usuarios, que es una referencia a los datos de clics. Los investigadores dicen que este tipo de datos rara vez proporciona información precisa sobre la satisfacción del usuario.

Los investigadores escriben:

«Ruido: el comportamiento histórico de los usuarios en YouTube es intrínsecamente difícil de predecir debido a la escasez y a una variedad de factores externos no observables. Rara vez obtenemos la verdad básica de la satisfacción del usuario y en su lugar modelamos señales de retroalimentación implícitas ruidosas. Además, los metadatos asociados con el contenido están mal estructurados sin una ontología bien definida. Nuestros algoritmos necesitan
ser robusto ante estas características particulares de nuestros datos de entrenamiento”.

Los investigadores concluyen el artículo afirmando que este enfoque de los sistemas de recomendación ayudó a aumentar el tiempo de visualización de los usuarios y demostró ser más eficaz que otros sistemas.

Ellos escriben:

“Hemos descrito nuestra arquitectura de red neuronal profunda para recomendar vídeos de YouTube, dividida en dos problemas distintos: generación de candidatos y clasificación.
Nuestro modelo de filtrado colaborativo profundo es capaz de asimilar eficazmente muchas señales y modelar su interacción con capas de profundidad, superando los enfoques de factorización matricial anteriores utilizados en YouTube.

Demostramos que el uso de la antigüedad del ejemplo de entrenamiento como característica de entrada elimina un sesgo inherente hacia el pasado y permite que el modelo represente el comportamiento dependiente del tiempo de los videos populares. Esto mejoró los resultados de precisión de la exclusión sin conexión y aumentó drásticamente el tiempo de visualización en videos subidos recientemente en las pruebas A/B.

La clasificación es un problema de aprendizaje automático más clásico, pero nuestro enfoque de aprendizaje profundo superó a los métodos lineales y basados ​​en árboles anteriores para la predicción del tiempo de visualización. Los sistemas de recomendación en particular se benefician de características especializadas que describen el comportamiento anterior del usuario con los elementos. Las redes neuronales profundas requieren representaciones especiales de características categóricas y continuas que transformamos con incrustaciones y normalización cuantil, respectivamente”.

Aunque este trabajo de investigación tiene diez años, todavía ofrece información sobre cómo funcionan los sistemas de recomendación y elimina un poco el misterio de los sistemas de recomendación como Google Discover. Lea el artículo de investigación original: Redes neuronales profundas para recomendaciones de YouTube

Imagen destacada de Shutterstock/Andrii Iemelianenko