Google publicó un artículo de investigación sobre cómo ayudar a los sistemas de recomendación a comprender lo que quieren decir los usuarios cuando interactúan con ellos. Su objetivo con este nuevo enfoque es superar las limitaciones inherentes a los actuales sistemas de recomendación de última generación para obtener una comprensión más precisa y detallada de lo que los usuarios quieren leer, escuchar o mirar a nivel individual.
Semántica personalizada
Los sistemas de recomendación predicen lo que a un usuario le gustaría leer o ver a continuación. YouTube, Google Discover y Google News son ejemplos de sistemas de recomendación para recomendar contenido a los usuarios. Otro tipo de sistemas de recomendación son las recomendaciones de compras.
Los sistemas de recomendación generalmente funcionan recopilando datos sobre los tipos de cosas en las que un usuario hace clic, califica, compra y mira y luego usa esos datos para sugerir más contenido que se alinee con las preferencias del usuario.
Los investigadores se refirieron a ese tipo de señales como comentarios primitivos de los usuarios porque no son tan buenos haciendo recomendaciones basadas en el juicio subjetivo de un individuo sobre lo que es divertido, lindo o aburrido.
La intuición detrás de la investigación es que el auge de los LLM presenta una oportunidad para aprovechar las interacciones del lenguaje natural para comprender mejor lo que quiere un usuario mediante la identificación de la intención semántica.
Los investigadores explican:
«Los sistemas de recomendación interactivos han surgido como un paradigma prometedor para superar las limitaciones de la retroalimentación primitiva de los usuarios utilizada por los sistemas de recomendación tradicionales (por ejemplo, clics, consumo de artículos, calificaciones). Permiten a los usuarios expresar intenciones, preferencias, limitaciones y contextos de una manera más rica, a menudo utilizando lenguaje natural (incluyendo búsqueda por facetas y diálogo).
Sin embargo, se necesita más investigación para encontrar las formas más efectivas de utilizar esta retroalimentación. Un desafío es inferir la intención semántica de un usuario a partir de los términos o atributos abiertos que se utilizan a menudo para describir un elemento deseado. Esto es fundamental para los sistemas de recomendación que desean ayudar a los usuarios en su uso cotidiano e intuitivo del lenguaje natural para refinar los resultados de las recomendaciones”.
El desafío de los atributos blandos
Los investigadores explicaron que los atributos concretos son algo que los sistemas de recomendación pueden entender porque son verdades objetivas como «género, artista, director». Con lo que tenían problemas eran con otros tipos de atributos llamados “atributos blandos” que son subjetivos y que no se podían relacionar con películas, contenido o elementos de productos.
El artículo de investigación establece las siguientes características de los atributos blandos:
- «No existe una fuente definitiva que asocie atributos tan suaves con elementos
- Los propios atributos pueden tener interpretaciones imprecisas.
- Y pueden ser de naturaleza subjetiva (es decir, diferentes usuarios pueden interpretarlos de manera diferente)”.
El problema de los atributos blandos es el problema que los investigadores se propusieron resolver y por eso el trabajo de investigación se llama Descubrimiento de semántica personalizada para atributos blandos en sistemas de recomendación utilizando vectores de activación de conceptos.
Uso novedoso de vectores de activación de conceptos (CAV)
Los vectores de activación de conceptos (CAV) son una forma de probar modelos de IA para comprender las representaciones matemáticas (vectores) que los modelos utilizan internamente. Proporcionan una forma para que los humanos conecten esos vectores internos con conceptos.
Entonces, la dirección estándar del CAV es interpretar el modelo. Lo que hicieron los investigadores fue cambiar esa dirección para que el objetivo ahora sea interpretar a los usuarios, traduciendo atributos blandos subjetivos en representaciones matemáticas para sistemas de recomendación. Los investigadores descubrieron que la adaptación de los CAV para interpretar a los usuarios permitía representaciones vectoriales que ayudaban a los modelos de IA a detectar intenciones sutiles y juicios humanos subjetivos personalizados para un individuo.
Mientras escriben:
«Demostramos… que nuestra representación CAV no sólo interpreta con precisión la semántica subjetiva de los usuarios, sino que también puede usarse para mejorar las recomendaciones a través de críticas interactivas de elementos».
Por ejemplo, el modelo puede aprender que los usuarios quieren decir cosas diferentes con “divertido” y ser más capaz de aprovechar esa semántica personalizada al hacer recomendaciones.
El problema que los investigadores están resolviendo es descubrir cómo cerrar la brecha semántica entre cómo hablan los humanos y cómo «piensan» los sistemas de recomendación.
Los humanos piensan en conceptos, utilizando descripciones vagas o subjetivas (llamadas atributos blandos).
Los sistemas de recomendación «piensan» en matemáticas: operan sobre vectores (listas de números) en un «espacio de incrustación» de alta dimensión.
El problema entonces es hacer que el habla humana subjetiva sea menos ambiguo pero sin tener que modificar o reentrenar el sistema de recomendación con todos los matices. Los CAV hacen ese trabajo pesado.
Los investigadores explican:
«… inferimos la semántica de los atributos blandos utilizando la representación aprendida por el propio modelo del sistema de recomendación».
Enumeran cuatro ventajas de su enfoque:
“(1) La capacidad del modelo del sistema de recomendación está dirigida a predecir las preferencias de elementos del usuario sin intentar predecir información adicional adicional (por ejemplo, etiquetas), lo que a menudo no mejora el rendimiento del sistema de recomendación.
(2) El modelo del sistema de recomendación puede acomodar fácilmente nuevos atributos sin necesidad de volver a capacitarlos en caso de que surjan nuevas fuentes de etiquetas, palabras clave o frases de las cuales derivar nuevos atributos blandos.
(3) Nuestro enfoque ofrece un medio para probar si atributos blandos específicos son relevantes para predecir las preferencias del usuario. Por lo tanto, podemos centrar la atención en los atributos más relevantes para capturar la intención de un usuario (por ejemplo, al explicar recomendaciones, obtener preferencias o sugerir críticas).
(4) Se puede aprender la semántica suave de atributos/etiquetas con cantidades relativamente pequeñas de datos etiquetados, con el espíritu de preentrenamiento y aprendizaje en pocas oportunidades”.
Luego brindan una explicación de alto nivel de cómo funciona el sistema:
«A alto nivel, nuestro enfoque funciona de la siguiente manera: asumimos que tenemos:
(i) un modelo de estilo de filtrado colaborativo (por ejemplo, factorización matricial probabilística o codificador dual) que incorpora elementos y usuarios en un espacio latente basado en calificaciones de elementos de usuario; y
(ii) un (pequeño) conjunto de etiquetas (es decir, etiquetas de atributos suaves) proporcionadas por un subconjunto de usuarios para un subconjunto de elementos.
Desarrollamos métodos que asocian con cada elemento el grado en que exhibe un atributo suave, determinando así la semántica de ese atributo. Hacemos esto aplicando vectores de activación de conceptos (CAV), un método reciente desarrollado para la interpretabilidad de modelos aprendidos por máquina, al modelo de filtrado colaborativo para detectar si aprendió una representación del atributo.
La proyección de este CAV en el espacio de incrustación proporciona una semántica direccional (local) para el atributo que luego se puede aplicar a los elementos (y a los usuarios). Además, la técnica se puede utilizar para identificar la naturaleza subjetiva de un atributo, específicamente, si diferentes usuarios tienen diferentes significados (o sentidos de etiqueta) en mente cuando usan esa etiqueta. Una semántica tan personalizada para atributos subjetivos puede ser vital para la interpretación sólida de la verdadera intención de un usuario cuando intenta evaluar sus preferencias”.
¿Funciona este sistema?
Uno de los hallazgos interesantes es que su prueba de una etiqueta artificial (año impar) mostró que la tasa de precisión del sistema estaba apenas por encima de una selección aleatoria, lo que corroboró su hipótesis de que «los CAV son útiles para identificar atributos/etiquetas relacionados con preferencias».
También descubrieron que el uso de CAV en sistemas de recomendación era útil para comprender el comportamiento del usuario «basado en críticas» y mejoraba ese tipo de sistemas de recomendación.
Los investigadores enumeraron cuatro beneficios:
“(i) utilizar una representación de filtrado colaborativo para identificar los atributos de mayor relevancia para la tarea de recomendación;
(ii) distinguir el uso de etiquetas objetivo y subjetivo;
(iii) identificar semántica personalizada y específica del usuario para atributos subjetivos; y
(iv) relacionar la semántica de atributos con representaciones de preferencias, permitiendo así interacciones utilizando atributos/etiquetas suaves en críticas de ejemplo y otras formas de obtención de preferencias”.
Descubrieron que su enfoque mejoraba las recomendaciones para situaciones en las que el descubrimiento de atributos blandos es importante. El uso de este enfoque para situaciones en las que los atributos duros son más la norma, como en la compra de productos, es un área de estudio futura para ver si los atributos blandos ayudarían a hacer recomendaciones de productos.
Comidas para llevar
El artículo de investigación se publicó en 2024 y tuve que investigar para encontrarlo, lo que puede explicar por qué generalmente pasó desapercibido en la comunidad de marketing de búsqueda.
Google probó parte de este enfoque con un algoritmo llamado WALS (Mínimos cuadrados alternos ponderados), código de producción real que es un producto en Google Cloud para desarrolladores.
Dos notas a pie de página y en el apéndice explican:
«Los CAV en datos de MovieLens20M con atributos lineales utilizan incrustaciones que se aprendieron (a través de WALS) utilizando un código de producción interno, que no se puede publicar».
…Las incrustaciones lineales se aprendieron (a través de WALS, Apéndice A.3.1) utilizando un código de producción interno, que no se puede liberar”.
«Código de producción» se refiere al software que se ejecuta actualmente en los productos de Google para el usuario, en este caso Google Cloud. Probablemente no sea el motor subyacente de Google Discover; sin embargo, es importante tenerlo en cuenta porque muestra con qué facilidad se puede integrar en un sistema de recomendación existente.
Probaron este sistema utilizando el conjunto de datos MovieLens20M, que es un conjunto de datos públicos de 20 millones de calificaciones, y algunas de las pruebas se realizaron con el motor de recomendación patentado de Google (WALS). Esto da credibilidad a la inferencia de que este código se puede utilizar en un sistema activo sin tener que volver a entrenarlo o modificarlo.
La conclusión que veo en este trabajo de investigación es que esto hace posible que los sistemas de recomendación aprovechen los datos semánticos sobre atributos blandos. Google considera a Google Discover como un subconjunto de la búsqueda, y los patrones de búsqueda son algunos de los datos que el sistema utiliza para mostrar el contenido. Google no dice si está utilizando este tipo de método, pero dados los resultados positivos, es posible que este enfoque pueda usarse en los sistemas de recomendación de Google. Si ese es el caso, entonces eso significa que las recomendaciones de Google pueden responder mejor a la semántica subjetiva de los usuarios.
El trabajo de investigación acredita a Google Research (60% de los créditos) y también a Amazon, Midjourney y Meta AI.
El PDF está disponible aquí:
Descubrimiento de semántica personalizada para atributos blandos en sistemas de recomendación utilizando vectores de activación de conceptos
Imagen destacada de Shutterstock/Aquí
