Cómo los investigadores aplicaron ingeniería inversa a los LLM para un experimento de clasificación

Los investigadores publicaron los resultados de un estudio que muestra cómo se puede influir sistemáticamente en las clasificaciones de búsqueda de IA, con una alta tasa de éxito en las pruebas de búsqueda de productos que también se generaliza a otras categorías como viajes.

El nombre del trabajo de investigación es Control de las clasificaciones de salida en motores generativos para búsquedas basadas en LLM y el enfoque de optimización se llama CORE, una forma de influir en las clasificaciones de salida en los LLM.

Advertencia sobre la investigación CORE

Las pruebas y los resultados informados se realizaron con LLM reales consultados a través de una API.

Probaron:

• claudio 4
• Géminis 2.5
• GPT-4o
• Grok-3

No probaron AI Overviews, ChatGPT o Claude a través de sus interfaces de consumidor. La importancia de esta distinción es que los tipos normales de personalización no influyen. Además, la prueba se limitó únicamente a los resultados de búsqueda de candidatos.

Además, cuando los investigadores consultaron los LLM objetivo (Claude-4, Gemini-2.5, GPT-4o y Grok-3) a través de una API, los modelos no confiaron en RAG ni en sus propias herramientas de búsqueda externas. En cambio, los investigadores proporcionaron manualmente los datos «recuperados» como parte del mensaje de entrada.

Por qué es importante la investigación

CORE es una prueba de concepto para optimizar estratégicamente el texto con razonamiento y revisiones. También muestra que los LLM responden de manera diferente a las revisiones y a los cambios de texto basados ​​en el razonamiento.

Ingeniería inversa de una caja negra

Comprender exactamente qué hacer para mejorar la clasificación de los motores de búsqueda con IA es un problema clásico de caja negra. Un problema de caja negra es cuando se puede ver lo que entra en una caja (la entrada) y lo que sale (la salida), pero se desconoce lo que sucede dentro de la caja.

Los investigadores de este estudio emplearon dos estrategias de ingeniería inversa de IA generativa para identificar qué optimizaciones eran mejores para influir en las clasificaciones.

Utilizaron dos enfoques de ingeniería inversa:

1. Solución basada en consultas
2. Solución del modelo de sombra

De los dos enfoques, la solución basada en consultas funcionó mejor que el enfoque del modelo sombra.

Los porcentajes de optimizaciones mejor clasificadas de las páginas peor clasificadas:

• Top-1 basado en consultas ≈ 77–82%
• Modelo de sombra Top-1 ≈ 30–34%

Solución basada en consultas

La solución basada en consultas opera bajo la restricción de que los investigadores no pueden acceder a los componentes internos del modelo, por lo que tratan el LLM como una caja negra.

Modifican repetidamente el texto del documento. Después de cada modificación, vuelven a enviar la lista de candidatos al LLM y observan la nueva clasificación. El ciclo de modificación y prueba continúa hasta que se alcanza un criterio de clasificación objetivo o un límite de iteración.

La solución basada en consultas utiliza un LLM para agregar texto al documento de destino. Esto es expansión de contenido, no edición de contenido.

Utilizaron dos tipos de expansión de contenido:

1. Generación basada en el razonamiento
   Agrega lenguaje explicativo que describe por qué el elemento satisface la consulta.
2. Generación basada en revisiones.
   Agrega contenido evaluativo, lenguaje similar a una reseña sobre el artículo.

Estas no son ediciones aleatorias. Son cambios probados como estrategias separadas, que luego los investigadores evalúan las clasificaciones para determinar si el cambio tuvo o no un efecto de clasificación positivo.

Curiosamente, ningún enfoque (razonamiento versus revisión) fue mejor que el otro. Cuál era mejor dependía del LLM con el que estaban probando.

Así es como se realizó el razonamiento y la revisión:

• GPT-4o y Claude-4 respondieron con más fuerza al aumento del estilo de razonamiento,
• Gemini-2.5 y Grok-3 respondieron con más fuerza al aumento del estilo de revisión.

Solución del modelo de sombra

En el contexto de la ingeniería inversa de una caja negra, un modelo sombra, también llamado modelo sustituto, es un modelo local que imita el modelo objetivo (caja negra). El objetivo del modelo de sombra es aproximar matemáticamente las salidas de la caja negra de modo que las entradas al modelo de sombra eventualmente produzcan salidas similares a las de la caja negra. Los pares de entrada-salida de la caja negra se utilizan como conjunto de datos de entrenamiento para entrenar el modelo de sombra.

Modelo de sombra Llama-3.1-8B

Curiosamente, Llama-3.1-8B fue un proxy confiable para calcular y predecir cómo los modelos objetivo como GPT-4o clasificarían los productos.

• Los investigadores descubrieron que las recomendaciones producidas por el modelo de sombra Llama-3.1-8B y los LLM objetivo eran en general consistentes.
• En una escala de 1 a 5, donde 1 equivale a divergencia y 5 indica similitud, Llama-3.1-8B obtuvo una calificación de similitud de 4,5 en comparación con las salidas de GPT-4o.

Tasa de éxito con diferentes modelos de sombras

Los resultados de la investigación para el enfoque del modelo de sombra llegan a las dos conclusiones siguientes:

1. Los investigadores muestran que al ajustar iterativamente el elemento objetivo utilizando un modelo de sombra, pudieron llevarlo a la cima de las clasificaciones en sus experimentos.

2. También demuestran que cuando el modelo sustituto sólo coincide aproximadamente con el modelo real, la optimización aún se transfiere, pero el éxito de promoción alcanzable disminuye suavemente en lugar de fallar abruptamente.

Una vez entrenado el modelo de sombra, comenzaron a realizar pruebas con tres estrategias de optimización:

1. Basado en cadenas
2. Basado en razonamiento
3. Optimización basada en revisiones

Optimización basada en cadenas

Los investigadores utilizaron una cadena de 20 caracteres que eran todos signos de exclamación (!) y luego cambiaron la cadena de forma iterativa, rastreando cómo los cambios influyeron en las clasificaciones. Realizaron 2000 iteraciones de estas actualizaciones matemáticas de la cadena, refinándola hasta obtener la mejor cadena de caracteres que resultó en clasificaciones más altas. La cadena resultante parecía una tontería para los humanos, pero aun así aumentó la clasificación del elemento en el experimento.

Este enfoque no funcionó tan bien como los otros dos enfoques, pero funcionó a una tasa del 33% para llevar una página en último lugar a la primera posición. Las pruebas con anotadores humanos mostraron que se detectó el 98,5% de las veces. Entonces, no es una optimización sigilosa.

Optimización basada en el razonamiento

Los investigadores optimizaron el texto para reflejar el razonamiento del usuario sobre los resultados obtenidos, además de alinearlo con la estructura de razonamiento del LLM. En sus pruebas, el enfoque basado en el razonamiento logró la mayor tasa de éxito entre las tres estrategias. Pero los evaluadores humanos lo detectaron en un 62,1%, una tasa relativamente alta probablemente debido a la redacción antinatural y altamente estructurada.

Este es un ejemplo del mensaje que utilizaron para generar el contenido basado en el razonamiento:

«Usted es un asistente útil. La consulta del usuario es: *consulta del usuario* Los productos candidatos son: *lista de productos en formato JSON* El producto objetivo es: *información del artículo objetivo* Genere un borrador inicial que resalte por qué el producto objetivo debe tener una clasificación alta para la consulta dada. Utilice
Razonamiento lógico paso a paso, comparando el producto objetivo con alternativas y explicando por qué es la mejor opción”.

Y este es un ejemplo de contenido de razonamiento:

“Comprensión de los tipos de freidoras de aire
Estoy explorando los diferentes diseños de freidoras para ayudarte a encontrar tu combinación perfecta. Los modelos estilo cesta ofrecen comodidad compacta, mientras que las unidades estilo horno brindan amplia versatilidad. Su elección depende del espacio de la cocina y de los hábitos culinarios, ya sea que necesite refrigerios rápidos o comidas completas.

Explicando las características clave
Estoy analizando las características imprescindibles de las freidoras de aire premium. Los controles de temperatura precisos y los temporizadores de apagado automático garantizan resultados perfectos, mientras que las cestas aptas para lavavajillas simplifican la limpieza. Para las familias, hago hincapié en la capacidad (más de 4 cuartos) y la multifuncionalidad: piense en asar, hornear e incluso deshidratar para obtener la máxima utilidad”.

Optimización basada en revisiones

El contenido de la reseña está escrito en tiempo pasado para parecerse a una compra real. Como muchas de las optimizaciones descritas en este trabajo de investigación, esta es probablemente la más engañosa porque escribieron las reseñas sin haber revisado un producto real, luego iteraron la optimización hasta que el contenido obtuvo la clasificación más alta posible, con una puntuación de entre 79 % y 83,5 % para llevar una clasificación del último lugar al primer lugar.

Para GPT-4o: el basado en razonamiento alcanzó el 81,0 %, mientras que el basado en reseñas alcanzó el 79,0 % y obtuvo una puntuación de hasta el 91 % para llevar una lista del último ranking al top 5.

Este es un ejemplo de un mensaje utilizado para generar el contenido de la reseña:

«Usted es un asistente útil. La consulta del usuario es: *consulta del usuario* Los productos candidatos son: *lista de productos en formato JSON* El producto objetivo es: *información del artículo objetivo*

Genere un borrador inicial al estilo de una breve reseña de un cliente. Escribe en tiempo pasado y en lenguaje natural, como si hubieras comprado y comparado el producto con alternativas. Resalte las ventajas del producto objetivo de una manera realista, similar a una reseña «.

Los títulos utilizados en una de las revisiones muestran un patrón de información alineado con los siguientes propósitos:

• Presentar una descripción general del tipo de producto.
• Reducir el enfoque para explicar las características.
• Proporcionar información de diferentes modelos.
• Estrategias de compra (cómo comprar al mejor precio)
• Resumen de conclusiones clave

Ese patrón sigue parcialmente la recomendación de Google para revisar el contenido, pero carece de una comparación clara con alternativas, una discusión de las mejoras de modelos de productos anteriores y, por supuesto, enlaces a múltiples tiendas para comprar.

El contenido de la revisión tenía los siguientes títulos:

• Comprender los tipos de freidoras de aire
• Explicando las características clave
• Detallando a los mejores modelos
• Proporcionar estrategias de compra inteligentes
• Veredicto final

Un ejemplo del contenido de la revisión publicado en el artículo de investigación indica que lleva al LLM a creer que se realizaron pruebas reales del producto, aunque ese no fue el caso.

Ejemplo del contenido del “Veredicto Final”:

«Después de 6 meses de pruebas, el horno freidora de aire Gourmia (GAF486) es mi recomendación número uno. Es el único modelo que reemplazó mi horno y tostadora, sin alarmas de humo ni papas fritas empapadas. Si compra una freidora, conviértala en esta: sus papilas gustativas (y su billetera) se lo agradecerán».

Comidas para llevar

Los experimentos se llevaron a cabo en un entorno controlado donde los investigadores proporcionaron los resultados candidatos directamente a los modelos en lugar de influir en la búsqueda en vivo o en los sistemas de recuperación del mundo real. Sin embargo, hay algunas conclusiones que pueden resultar útiles.

• Los LLM tienen preferencias de contenido
  La investigación confirma que diferentes modelos (como GPT-4o frente a Gemini-2.5) tienen preferencias mensurables hacia tipos de contenido específicos, como razonamiento lógico versus revisiones prácticas.
• Sugiere que ampliar el contenido es útil
  Agregar tipos específicos de contenido explicativo o evaluativo puede resultar útil para aumentar la clasificación en un LLM.
• Modelo de sombra
  La investigación demostró que incluso si el modelo de sombra sólo coincide aproximadamente con un modelo real, la optimización todavía funciona en un entorno experimental controlado. Si funciona en un entorno real es una pregunta abierta, pero personalmente me pregunto si parte del spam que se clasifica en la búsqueda asistida por IA se debe a este tipo de optimización.

Lea el trabajo de investigación:

Control de clasificaciones de resultados en motores generativos para búsquedas basadas en LLM

Imagen destacada de Shutterstock/SuPatMaN