El estudio dice que los datos de IA están contaminando la entrada humana clave

Alrededor del cambio de siglo, Jeff Bezos popularizó el uso de mecánicos turcos (trabajadores de bajos salarios que trabajan de forma remota con quizás miles de personas más en pequeñas partes de proyectos informáticos más grandes) para brindar una perspectiva humana en la mayoría de las tareas simples que las computadoras habían demostrado ser. una molestia Llamó a esta combinación del poder del cerebro humano y digital “inteligencia artificial artificial”.

Alrededor de un cuarto de millón de personas están empleadas a través de la plataforma Mechanical Turk de Amazon, que es solo una de las muchas fuentes que brindan dichos servicios.

Esta semana, investigadores de la universidad EPFL de Suiza informaron que los turcos, que han hecho importantes contribuciones humanas, ahora confían en el contenido generado por IA para hacer su trabajo. Llamaron a este fenómeno “inteligencia artificial artificial”.

El término puede hacerte sonreír, pero los científicos dicen que los hallazgos plantean serias preocupaciones.

Los empleados que utilizan generadores de IA para realizar sus tareas “reducirían seriamente la utilidad de los datos de colaboración colectiva”, dijo el investigador Veniamin Veselovsky. El artículo “Inteligencia artificial artificial artificial: los trabajadores de multitudes utilizan modelos de lenguaje grande para tareas de producción de texto” se publicó el arXiv servidor de preimpresión 13 de junio.

Si bien los modelos de lenguaje grande sobresalen en el procesamiento de datos de entrenamiento, la entrada humana es aún mejor para algunas tareas. Los humanos etiquetan los datos ingresados ​​en los modelos, describen imágenes y responden a las pantallas CAPTCHA de manera más eficiente que las computadoras.

“Es tentador confiar en el crowdsourcing para validar los resultados de grandes modelos de lenguaje o para crear datos estándar de oro humanos para comparar”, dijo Veselovsky. “Pero, ¿y si los propios trabajadores comunitarios usan LLM… para aumentar su productividad y, por lo tanto, sus ingresos, en plataformas de crowdsourcing?”

Tales entradas contaminarían el conjunto de datos y, si no se respondieran, podrían cuestionar la confiabilidad de las operaciones basadas en IA.

El término “turco” proviene de un “robot” del siglo XVIII, un maestro de ajedrez que derrotó a jugadores de toda Europa. Entre los derrotados estaban Napoleón y Benjamín Franklin. Los jugadores desprevenidos nunca supieron que un jugador de ajedrez humano estaba escondido debajo de los tableros de la máquina.

El crowdsourcing con turcos modernos se ha convertido en una industria de miles de millones de dólares. Su reputación se ha visto empañada por los salarios notoriamente bajos que algunas empresas pagan a sus empleados. Los turcos ganan entre $2 y $5 por hora.

Pero la industria se ve amenazada por la repentina adopción de grandes modelos de lenguaje. Según un estudio reciente, se descubrió que el modelo turbo de ChatGPT 3.5 para tareas de clasificación funciona significativamente mejor que los trabajadores comunitarios a aproximadamente una vigésima parte del costo.

Los trabajadores enfrentarán una mayor presión para producir más y hacerlo más rápido, lo que a su vez puede hacer que estos trabajadores dependan más de los recursos de IA.

Según un estudio limitado sobre el uso de modelos de lenguaje extenso por parte de los empleados de MTurk, la operación de crowdsourcing de Amazon, los investigadores de EPFL estimaron que entre el 33 % y el 46 % de las tareas de los empleados se completaron con modelos de lenguaje extenso.

“Los modelos de idiomas grandes se están volviendo más populares día a día, y los modelos multimodales, que admiten no solo texto, sino también entrada y salida de imágenes y videos, se están volviendo más populares”, dijo Veselovsky. “Por lo tanto, nuestros resultados deben considerarse como un ‘canario en una mina de carbón’ que debe recordar a las plataformas, investigadores y trabajadores comunitarios que encuentren nuevas formas de garantizar que los datos humanos sigan siendo humanos”.

© 2023 Ciencia X Red