Nuevo papel de científicos de la universidad suiza EPFL indica que entre el 33 % y el 46 % de los trabajadores comunitarios distribuidos en Amazon Mechanical Turk parecen “hacer trampa” cuando realizan una tarea específica que se les ha asignado, ya que utilizan herramientas como ChatGPT para completar parte del trabajo. Si esta práctica está muy extendida, es posible que se convierta en un problema bastante grave.
El turco mecánico de Amazon ha sido durante mucho tiempo un refugio para programadores frustrados que quieren que el trabajo sea realizado por humanos. En resumen, es una interfaz de programación de aplicaciones (API) que delega tareas a las personas que las realizan y luego devuelve resultados. Por lo general, estas son tareas en las que desearía que las computadoras fueran mejores. Según Amazon, un ejemplo de tales tareas podría ser: “Dibujar cuadros delimitadores para crear conjuntos de datos de alta calidad para modelos de visión por computadora, donde la tarea puede ser demasiado ambigua para una solución puramente mecánica y demasiado extensa incluso para un gran equipo de expertos humanos”. . “
Los científicos de datos tratan los conjuntos de datos de manera diferente según su procedencia, ya sea que los generen humanos o que formen parte de un modelo de lenguaje extenso (LLM). Sin embargo, el problema con Mechanical Turk es peor de lo que parece: la IA ahora está disponible a un precio tan bajo que los gerentes de producto que eligen usar Mechanical Turk en lugar de una solución generada por máquinas confían en que los humanos son mejores en algo que los robots. Envenenar este pozo de datos puede tener graves consecuencias.
“Distinguir LLM del texto generado por humanos es difícil tanto para los modelos de aprendizaje automático como para los humanos”, dijeron los investigadores. Como tal, los investigadores desarrollaron una metodología para determinar si el contenido textual fue creado por un humano o una máquina.
La prueba implicó pedir al personal de crowdsourcing que condensara los resúmenes de los estudios del New England Journal of Medicine en resúmenes de 100 palabras. Vale la pena señalar que sí. Exactamente el tipo de tarea en la que las tecnologías de IA generativa como ChatGPT son buenas.