Los trabajos académicos generados por IA se pueden identificar con más del 99 % de precisión

El debut del chatbot ChatGPT impulsado por IA ha causado revuelo en todo el mundo con su capacidad para crear textos y conversaciones similares a las humanas. Aún así, según un estudio publicado el 7 de junio en la revista, una serie de signos reveladores pueden ayudarnos a distinguir los chatbots de IA de los humanos. Informes de celdas Física. Basándose en los signos, los investigadores han desarrollado una herramienta para identificar trabajos de investigación académicos generados por IA con más del 99 % de precisión.

“Hicimos un gran esfuerzo para crear un método accesible para que incluso los estudiantes de secundaria pudieran construir un detector de IA para diferentes tipos de escritura con muy poca orientación”, dice la primera autora Heather Desaire, profesora de la Universidad de Kansas. “Es necesario dedicarse a escribir IA, y las personas no necesitan un título en informática para contribuir en el campo”.

“Hay algunos problemas bastante evidentes con la escritura de IA en este momento”, dice Desaire. “Uno de los mayores problemas es que reúne texto de múltiples fuentes y no hay verificación de validación; es un poco como jugar a Dos verdades y una mentira”.

Si bien muchos detectores de texto de IA están disponibles en línea y funcionan bastante bien, no se fabricaron específicamente para la escritura académica. Para llenar este vacío, el equipo decidió crear una herramienta con un mejor rendimiento solo para este propósito. Se centraron en un documento llamado perspectivas, que proporciona una descripción general de temas de investigación específicos escritos por científicos. El equipo seleccionó 64 perspectivas y creó 128 artículos generados por ChatGPT sobre los mismos temas de investigación para entrenar el modelo. Al comparar artículos, encontraron un indicador de la escritura de IA: la previsibilidad.

A diferencia de la IA, los humanos tienen estructuras de párrafos más complejas, que varían en la cantidad de oraciones y la cantidad total de palabras en un párrafo, así como también en la longitud de las oraciones. Las preferencias por la puntuación y el vocabulario también son un placer. Por ejemplo, los científicos tienden a preferir palabras como “sin embargo”, “pero” y “aunque”, mientras que ChatGPT a menudo usa “otros” e “investigadores” por escrito. El equipo recopiló 20 características a las que el modelo debería prestar atención.

Durante las pruebas, el modelo logró una precisión del 100 % en la eliminación de artículos de vista completa generados por IA de artículos escritos por humanos. Para identificar párrafos individuales en un artículo, el modelo tuvo una tasa de precisión del 92%. El modelo del equipo de investigación también superó a un detector de texto de IA en el mercado por un amplio margen en pruebas similares.

Luego, el equipo planea determinar el rango de aplicabilidad del modelo. Quieren probarlo en conjuntos de datos más extensos y diferentes tipos de textos científicos académicos. A medida que los chatbots de IA se desarrollan y se vuelven más sofisticados, los investigadores también quieren saber si su modelo se mantiene.

“Lo primero que la gente quiere saber cuando oye hablar de investigación es: ‘¿Puedo usar esto para saber si mis alumnos realmente han escrito sus trabajos?’ ”, dijo Desaire. Si bien el modelo es muy hábil para distinguir la IA de lo académico, Desaire dice que no fue diseñado para capturar ensayos de estudiantes generados por IA para maestros. Sin embargo, señala que las personas pueden replicar fácilmente sus métodos para construir modelos para sus propios fines.