Software de detección de texto AI: ¿Pueden detectar ChatGPT?

Vivimos en una era en la que las tecnologías de IA están en auge y el mundo ha sido tomado por asalto con la introducción de ChatGPT.

ChatGPT es capaz de realizar una amplia gama de tareas, pero una que hace particularmente bien es escribir artículos. Y si bien esto tiene muchos beneficios obvios, también presenta una serie de desafíos.

En mi opinión, el mayor obstáculo que plantea el contenido escrito generado por IA para la industria editorial es la difusión de desinformación.

ChatGPT, o cualquier otra herramienta de IA, puede generar artículos que pueden contener errores fácticos o simplemente ser completamente incorrectos.

Imagine a alguien que no tiene experiencia en medicina iniciando un blog médico y usando ChatGPT para escribir contenido para sus artículos.

Su contenido puede contener errores que solo pueden ser identificados por profesionales médicos. Y si el contenido de ese blog comienza a difundirse en las redes sociales, o tal vez incluso se clasifica en la Búsqueda, podría causar daño a las personas que lo leen y tomar consejos médicos erróneos.

Otro desafío potencial que plantea ChatGPT es cómo los estudiantes pueden aprovecharlo en su trabajo escrito.

Si uno puede escribir un ensayo simplemente ejecutando un mensaje (y sin tener que hacer ningún trabajo real), eso disminuye en gran medida la calidad de la educación, ya que aprender sobre un tema y expresar sus propias ideas es clave para escribir ensayos.

Incluso antes de la introducción de ChatGPT, muchos editores ya generaban contenido utilizando IA. Y mientras algunos lo revelan honestamente, otros no.

BankRate comenzó a publicar artículos escritos a través de IA, incluso lo divulgan en el sitio. He encontrado más de 160 artículos. El primer artículo que pude encontrar data de abril de 2022. Sería interesante ver cómo se clasifican estos artículos.
Hallazgo original por @tonythill. #AI #gptchat #SEO pic.twitter.com/BY9JlUZBiz

— John Shehata (@JShehata) 11 de enero de 2023

Además, Google cambió recientemente su redacción con respecto al contenido generado por IA, por lo que no está necesariamente en contra de las pautas de la compañía.

Es por eso que decidí probar las herramientas existentes para comprender dónde se encuentra la industria tecnológica cuando se trata de detectar contenido generado por ChatGPT, o IA en general.

Ejecuté las siguientes indicaciones en ChatGPT para generar contenido escrito y luego ejecuté esas respuestas a través de diferentes herramientas de detección.

• “¿Qué es el SEO local? ¿Por qué es importante? Mejores prácticas de SEO Local.”
• “Escribe un ensayo sobre la invasión de Napoleón Bonaparte a Egipto”.
• “¿Cuáles son las principales diferencias entre iPhone y Samsung galaxy?”

Así es como se desempeñó cada herramienta.

1. Escritor.com

Para la respuesta del primer aviso, Writer.com falla, identificando el contenido de ChatGPT como 94% generado por humanos.

Captura de pantalla dewriter.com, enero de 2023

Para el segundo aviso, funcionó y lo detectó como contenido escrito por IA.

Captura de pantalla dewriter.com, enero de 2023

Para el tercer aviso, volvió a fallar.

Captura de pantalla dewriter.com, enero de 2023

Sin embargo, cuando probé texto real escrito por humanos, Writer.com lo identificó como 100% generado por humanos con mucha precisión.

2. Copias de fugas

Copyleaks hizo un gran trabajo al detectar las tres indicaciones como escritas por IA.

Captura de pantalla de Copyleaks, enero de 2023

3. Contenido a escala.ai

Contentatscale.ai hizo un gran trabajo al detectar los tres avisos como escritos por IA, aunque el primer aviso dio una puntuación humana del 21 %.

4. Originalidad.ai

Originality.ai hizo un gran trabajo en las tres indicaciones, detectándolas con precisión como escritas por IA.

Además, cuando verifiqué con texto real escrito por humanos, lo identificó como 100% generado por humanos, lo cual es esencial.

Notará que Originality.ai no detecta ningún problema de plagio. Esto puede cambiar en el futuro.

Con el tiempo, las personas usarán las mismas indicaciones para generar contenido escrito por IA, lo que probablemente resulte en una cantidad de respuestas muy similares. Cuando se publiquen estos artículos, serán detectados por herramientas de plagio.

5. GPTZero

Esta herramienta no comercial fue creada por Edward Tian y diseñada específicamente para detectar artículos generados por ChatGPT. E hizo exactamente eso para las tres indicaciones, reconociéndolas como generadas por IA.

A diferencia de otras herramientas, brinda un análisis más detallado de los problemas detectados, como análisis oración por oración.

Clasificador de texto AI de OpenAI

Y finalmente, veamos cómo OpenAi detecta sus propias respuestas generadas.

Para las solicitudes 1 y 3, detectó que hay una IA involucrada clasificándola como «posiblemente generada por IA».

Clasificador de texto AI. Probablemente generado por IA

Pero, sorprendentemente, falló en el segundo aviso y lo clasificó como «improbable generado por IA». Jugué con diferentes indicaciones y descubrí que, a partir del momento, al verificarlo, pocas de las herramientas anteriores detectan contenido de IA con mayor precisión que la propia herramienta de OpenAi.

Clasificador de texto AI. Improbable generado por IA

Al momento de este cheque, lo habían liberado un día antes. Creo que en el futuro lo afinarán y funcionará mucho mejor.

Conclusión

Las herramientas actuales de generación de contenido de IA están en buen estado y pueden detectar contenido generado por ChatGPT (con diversos grados de éxito).

Todavía es posible que alguien genere una copia a través de ChatGPT y luego la parafrasee para que sea indetectable, pero eso puede requerir casi tanto trabajo como escribir desde cero, por lo que los beneficios no son tan inmediatos.

Si piensa en clasificar un artículo en Google escrito por ChatGPT, considere por un momento: si las herramientas que vimos anteriormente pudieron reconocerlos como generados por IA, entonces para Google, detectarlos debería ser pan comido.

Además de eso, Google tiene evaluadores de calidad que entrenarán su sistema para reconocer aún mejor los artículos escritos por IA marcándolos manualmente a medida que los encuentren.

Por lo tanto, mi consejo sería que no construyas tu estrategia de contenido a partir del contenido generado por ChatGPT, sino que lo uses simplemente como una herramienta auxiliar.

Más recursos:

Imagen destacada: /Shutterstock