Un nuevo artículo de investigación de Google DeepMind propone un nuevo algoritmo de clasificación de búsqueda mediante IA llamado BlockRank que funciona tan bien que pone la clasificación de búsqueda semántica avanzada al alcance de individuos y organizaciones. Los investigadores concluyen que «puede democratizar el acceso a poderosas herramientas de descubrimiento de información».
Clasificación en contexto (ICR)
El artículo de investigación describe el avance del uso de la clasificación en contexto (ICR), una forma de clasificar páginas web utilizando las capacidades de comprensión contextual de un modelo de lenguaje grande.
Indica al modelo con:
- Instrucciones para la tarea (por ejemplo, «clasificar estas páginas web»)
- Documentos de los candidatos (las páginas a clasificar)
- Y la consulta de búsqueda.
ICR es un enfoque relativamente nuevo explorado por primera vez por investigadores de Google DeepMind y Google Research en 2024 (¿Pueden los modelos de lenguaje de contexto largo incluir la recuperación, RAG, SQL y más? PDF). Ese estudio anterior demostró que ICR podría igualar el rendimiento de los sistemas de recuperación creados específicamente para la búsqueda.
Pero esa mejora tiene la desventaja de que requiere una potencia informática cada vez mayor a medida que aumenta el número de páginas a clasificar.
Cuando un modelo de lenguaje grande (LLM) compara varios documentos para decidir cuáles son los más relevantes para una consulta, debe «prestar atención» a cada palabra de cada documento y a cómo se relaciona cada palabra con todas las demás. Este proceso de atención se vuelve mucho más lento a medida que se agregan más documentos porque el trabajo crece exponencialmente.
La nueva investigación resuelve ese problema de eficiencia, razón por la cual el artículo de investigación se llama Clasificación escalable en contexto con modelos generativos, porque muestra cómo escalar la Clasificación en contexto (ICR) con lo que llaman BlockRank.
Cómo se desarrolló BlockRank
Los investigadores examinaron cómo el modelo realmente utiliza la atención durante la recuperación en contexto y encontraron dos patrones:
- Escasez de bloques entre documentos:
Los investigadores descubrieron que cuando el modelo lee un grupo de documentos, tiende a centrarse principalmente en cada documento por separado en lugar de compararlos todos entre sí. A esto lo llaman «escasez de bloques», lo que significa que hay poca comparación directa entre diferentes documentos. Sobre la base de esa información, cambiaron la forma en que el modelo lee la entrada para que revise cada documento por sí solo pero aún los compare todos con la pregunta que se formula. Esto mantiene la parte que importa, haciendo coincidir los documentos con la consulta, evitando al mismo tiempo las comparaciones innecesarias entre documentos. El resultado es un sistema que funciona mucho más rápido sin perder precisión. - Relevancia del bloque de documento de consulta:
Cuando el LLM lee la consulta, no trata todas las palabras de esa pregunta como igualmente importantes. Algunas partes de la pregunta, como palabras clave específicas o puntuación que indican intención, ayudan al modelo a decidir qué documento merece más atención. Los investigadores descubrieron que los patrones de atención internos del modelo, en particular cómo ciertas palabras de la consulta se centran en documentos específicos, a menudo se alinean con qué documentos son relevantes. Este comportamiento, al que llaman “relevancia del bloque de documentos de consulta”, se convirtió en algo que los investigadores pudieron entrenar al modelo para que lo usara de manera más efectiva.
Los investigadores identificaron estos dos patrones de atención y luego diseñaron un nuevo enfoque basado en lo que aprendieron. El primer patrón, la escasez de bloques entre documentos, reveló que el modelo estaba desperdiciando cálculos al comparar documentos entre sí cuando esa información no era útil. El segundo patrón, relevancia del bloque de documento de consulta, mostró que ciertas partes de una pregunta ya apuntan hacia el documento correcto.
Con base en estos conocimientos, rediseñaron cómo el modelo maneja la atención y cómo se entrena. El resultado es BlockRank, una forma más eficiente de recuperación en contexto que elimina comparaciones innecesarias y enseña al modelo a centrarse en lo que realmente indica relevancia.
Precisión de evaluación comparativa de BlockRank
Los investigadores probaron BlockRank para determinar qué tan bien clasifica los documentos en tres puntos de referencia principales:
- TRAER
Una colección de muchas tareas diferentes de búsqueda y respuesta a preguntas que se utilizan para probar qué tan bien un sistema puede encontrar y clasificar información relevante en una amplia gama de temas. - SEÑORA MARCO
Un gran conjunto de datos de consultas y pasajes de búsqueda reales de Bing, que se utiliza para medir con qué precisión un sistema puede clasificar los pasajes que mejor responden a la pregunta de un usuario. - Preguntas naturales (NQ)
Un punto de referencia creado a partir de preguntas reales de búsqueda en Google, diseñado para probar si un sistema puede identificar y clasificar los pasajes de Wikipedia que responden directamente a esas preguntas.
Utilizaron un Mistral LLM de 7 mil millones de parámetros y compararon BlockRank con otros modelos de clasificación sólidos, incluidos FIRST, RankZephyr, RankVicuna y una línea base Mistral completamente ajustada.
BlockRank tuvo un desempeño tan bueno o mejor que esos sistemas en los tres puntos de referencia, igualando los resultados en MS MARCO y Preguntas Naturales y obteniendo un desempeño ligeramente mejor en BEIR.
Los investigadores explicaron los resultados:
«Los experimentos en MSMarco y NQ muestran que BlockRank (Mistral-7B) iguala o supera la efectividad de ajuste estándar y al mismo tiempo es significativamente más eficiente en inferencia y entrenamiento. Esto ofrece un enfoque escalable y efectivo para ICR basado en LLM».
También reconocieron que no probaron varios LLM y que estos resultados son específicos de Mistral 7B.
¿Google utiliza BlockRank?
El artículo de investigación no dice nada sobre su uso en un entorno vivo. Así que es pura conjetura decir que podría usarse. Además, es natural tratar de identificar dónde encaja BlockRank en el modo AI o en las descripciones generales de AI, pero las descripciones de cómo funcionan FastSearch y RankEmbed del modo AI son muy diferentes de lo que hace BlockRank. Por lo tanto, es poco probable que BlockRank esté relacionado con FastSearch o RankEmbed.
Por qué BlockRank es un gran avance
Lo que sí dice el artículo de investigación es que se trata de una tecnología innovadora que pone un sistema de clasificación avanzado al alcance de personas y organizaciones que normalmente no podrían tener este tipo de tecnología de clasificación de alta calidad.
Los investigadores explican:
«La metodología BlockRank, al mejorar la eficiencia y escalabilidad de la recuperación en contexto (ICR) en modelos de lenguaje grandes (LLM), hace que la recuperación semántica avanzada sea más manejable desde el punto de vista computacional y puede democratizar el acceso a poderosas herramientas de descubrimiento de información. Esto podría acelerar la investigación, mejorar los resultados educativos al proporcionar información más relevante rápidamente y empoderar a individuos y organizaciones con mejores capacidades de toma de decisiones.
Además, la mayor eficiencia se traduce directamente en un menor consumo de energía para aplicaciones LLM con recuperación intensiva, lo que contribuye a un desarrollo y despliegue de IA más sostenible desde el punto de vista ambiental.
Al permitir una ICR eficaz en modelos potencialmente más pequeños o más optimizados, BlockRank también podría ampliar el alcance de estas tecnologías en entornos con recursos limitados”.
Los SEO y los editores son libres de opinar sobre si Google podría utilizarlo o no. No creo que haya pruebas de ello, pero sería interesante preguntarle a un empleado de Google al respecto.
Google parece estar en el proceso de hacer que BlockRank esté disponible en GitHub, pero no parece tener ningún código disponible allí todavía.
Lea sobre BlockRank aquí:
Clasificación escalable en contexto con modelos generativos
Imagen destacada de Shutterstock/Nithid
