Un estudio de PNAS revisado por pares encuentra que los modelos de lenguaje grande tienden a preferir el contenido escrito por otros LLM cuando se le pide que elija entre opciones comparables.
Los autores dicen que este patrón podría darle al contenido asistido a AI-AI una ventaja a medida que más descubrimiento de productos y recomendaciones fluyen a través de los sistemas de inteligencia artificial.
Sobre el estudio
Lo que probaron los investigadores
Un equipo dirigido por Walter Laurito y Jan Kulveit comparó versiones escritas por humanos y escritas por IA de los mismos artículos en tres categorías: descripciones de productos del mercado, resúmenes de papel científico y resúmenes de la trama de películas.
Modelos populares, incluidos GPT-3.5, GPT-4-1106, LLAMA-3.1-70B, MixTral-8x22b y Qwen2.5-72b, actuaron como selectores en las indicaciones por pares que forzaron una sola selección.
El documento dice:
«Nuestros resultados muestran una tendencia consistente para que los AI basados en LLM prefieran las opciones presentadas en LLM. Esto sugiere la posibilidad de futuros sistemas de IA implícitamente discriminados a los humanos como una clase, dando a los agentes de IA y a los humanos asistidos por AI una ventaja injusta».
Resultados clave de un vistazo
Cuando GPT-4 proporcionó las versiones escritas por IA utilizadas en las comparaciones, los selectores eligieron el texto de IA con más frecuencia que los evaluadores humanos:
- Productos: 89% de preferencia de IA por LLMS vs 36% por humanos
- Resúmenes de papel: 78% vs 61%
- Resúmenes de películas: 70% vs 58%
Los autores también señalan los efectos del orden. Algunos modelos mostraron una tendencia a elegir la primera opción, que el estudio intentó reducir intercambiando el orden y promediando los resultados.
Por qué esto importa
Si los mercados, los asistentes de chat o las experiencias de búsqueda usan LLM para obtener o resumir los listados, es más probable que se seleccione la copia asistida por AI-AI en esos sistemas.
Los autores describen un posible «impuesto de puerta», donde las empresas se sienten obligadas a pagar las herramientas de escritura de IA para evitar ser seleccionados por los evaluadores de IA. Esta es una pregunta de operaciones de marketing tanto como creativa.
Límites y preguntas
La línea de base humana en este estudio es pequeña (13 asistentes de investigación) y las opciones preliminares, y las opciones por pares no miden el impacto en las ventas.
Los resultados pueden variar según el diseño rápido, la versión del modelo, el dominio y la longitud del texto. El mecanismo detrás de la preferencia aún no está claro, y los autores piden trabajo de seguimiento sobre la estilometría y las técnicas de mitigación.
Mirando hacia el futuro
Si la clasificación mediada por la IA continúa expandiéndose en el comercio y el descubrimiento de contenido, es razonable considerar la asistencia de IA donde afecta directamente la visibilidad.
Trate esto como un carril de experimentación en lugar de una regla general. Mantenga a los escritores humanos en el bucle para obtener tono y reclamos, y valide con los resultados del cliente.
