Tanto los humanos como la IA alucinan, pero no de la misma manera

Lanzamiento de modelos completos de lenguaje grande (LLM) como GPT-3.5 ha generado mucho interés en los últimos seis meses. Sin embargo, la confianza en estos modelos ha disminuido a medida que los usuarios han descubierto que pueden cometer errores— y que, como nosotros, no son perfectos.

Se dice que un LLM que genera información incorrecta es “alucinante”, y ahora hay cada vez más esfuerzos de investigación para minimizar este efecto. Pero a medida que lidiamos con esta tarea, vale la pena reflexionar sobre nuestra propia capacidad de sesgo y alucinaciones, y cómo eso afecta la precisión de los LLM que producimos.

Al comprender la conexión entre el potencial alucinatorio de la IA y el nuestro, podemos comenzar a crear sistemas de IA más inteligentes que, en última instancia, ayudarán a reducir el error humano.

Como alucina la gente

No es ningún secreto que la gente inventa información. A veces lo hacemos a propósito y otras sin querer. Este último es el resultado de sesgos cognitivos o “heurísticas”: atajos mentales que desarrollamos a través de experiencias pasadas.

Estos atajos a menudo nacen de la necesidad. Solo podemos procesar una cantidad limitada de información que inunda nuestros sentidos en un momento dado y recordar solo una fracción de toda la información a la que hemos estado expuestos.

Como tal, nuestros cerebros deben usar asociaciones aprendidas para llenar los vacíos y responder rápidamente a cualquier pregunta o dilema que se nos presente. En otras palabras, nuestros cerebros adivinan cuál podría ser la respuesta correcta basándose en un conocimiento limitado. Esto se llama “confabulación” y es un ejemplo de prejuicio humano.

Nuestros prejuicios pueden resultar en un mal juicio. llevar sesgo de automatizaciónlo que significa nuestra tendencia a preferir la información generada por sistemas automatizados (como ChatGPT) sobre la información de fuentes no automatizadas. Este sesgo puede llevar a que se pasen por alto errores o incluso a que se actúe sobre información falsa.

Otra heurística importante es la llamada efecto aureolaen el que nuestra primera impresión de algo influye en nuestras interacciones posteriores con ese objeto. y error de fluidezque describe cómo preferimos que la información se presente de una manera fácil de leer.

La conclusión es que el pensamiento humano a menudo está teñido por nuestros propios prejuicios y distorsiones cognitivas, y estas tendencias “alucinatorias” ocurren en gran medida fuera de nuestra conciencia.

Cómo alucina la IA

En el contexto de LLM, las alucinaciones son diferentes. LLM no trata de conservar recursos mentales limitados para comprender el mundo de manera efectiva. “Alucinación” en este contexto simplemente describe un intento fallido de predecir una respuesta apropiada a la entrada.

Sin embargo, todavía existe cierta similitud entre las alucinaciones de las personas y los LLM, ya que los LLM también lo hacen para “llenar los vacíos”.

Los LLM generan una respuesta al predecir qué palabra es más probable que aparezca a continuación en una secuencia, según lo que vino antes y las asociaciones que el sistema aprendió durante el entrenamiento.

Al igual que los humanos, los LLM intentan anticipar la reacción más probable. A diferencia de los humanos, se las arreglan sin comprensión Qué están diciendo. De esa manera pueden terminar escribiendo tonterías.

Cuando se trata de por qué los LLM alucinan, hay una serie de factores. La principal es la formación sobre datos erróneos o insuficientes. Otros factores son Cómo el sistema está programado para aprender de estos datos y cómo esta programación se refuerza a través de una mayor capacitación humana.

Mejor juntos

Entonces, si tanto los humanos como los LLM son propensos a las alucinaciones (aunque por diferentes razones), ¿cuál es más fácil de solucionar?

Arreglar los datos y procesos de capacitación de LLM puede parecer más fácil que arreglarlo usted mismo. Pero esto no tiene en cuenta los factores humanos que afectan los sistemas de IA (y es un ejemplo de otro sesgo humano conocido como error fundamental de atribución).

La realidad es que nuestras fallas y las fallas de nuestras tecnologías están inextricablemente vinculadas, por lo que arreglar una ayudará a arreglar la otra. Aquí hay algunas maneras en que podemos hacer eso.

• Manejo responsable de datos. Los errores en la IA a menudo se derivan de datos de entrenamiento sesgados o limitados. Las formas de abordar esto incluyen garantizar la diversidad y la representatividad de los datos de entrenamiento, crear algoritmos sensibles a los sesgos e implementar técnicas como el equilibrio de datos para eliminar patrones sesgados o discriminatorios.

• Inteligencia artificial transparente y comprensible. Sin embargo, a pesar de las acciones anteriores, los sesgos en la IA pueden permanecer y pueden ser difíciles de detectar. Al examinar cómo los sesgos pueden ingresar y propagarse a través del sistema, podemos explicar mejor la presencia de sesgos en los resultados. Esta es la base de la “IA explicada” que tiene como objetivo hacer que los procesos de toma de decisiones de los sistemas de IA sean más transparentes.

• Poner el interés público primero. Reconocer, gestionar y aprender de los sesgos en la IA requiere responsabilidad humana e integrar los valores humanos en los sistemas de IA. Lograr esto significa garantizar que las partes interesadas representen a personas de diferentes orígenes, culturas y perspectivas.

Al trabajar juntos de esta manera, podemos construir sistemas de IA más inteligentes que nos ayuden a controlar todas nuestras alucinaciones.

Por ejemplo, la inteligencia artificial se usa en el cuidado de la salud para analizar las decisiones humanas. Estos sistemas de aprendizaje automático detectan inconsistencias en los datos humanos y muestran indicaciones que llaman la atención del médico. Por lo tanto, las decisiones diagnósticas pueden mejorarse mantener la responsabilidad humana.

En el contexto de las redes sociales, la IA se utiliza para capacitar a moderadores humanos cuando intentan identificar abusos, p. Patrulla trol un proyecto destinado a combatir la violencia contra las mujeres en Internet.

En otro ejemplo, una combinación de IA y fotos satelitales puede ayudar a los investigadores a analizar las diferencias en la iluminación nocturna entre regiones y usar esto como un indicador de pobreza relativa en un área determinada (donde más iluminación se correlaciona con menos pobreza).

Es importante destacar que, si bien hacemos el trabajo principal de mejorar la precisión de los LLM, no debemos ignorar cómo su falta de confiabilidad actual se parece a la nuestra.

Este artículo ha sido republicado desde Conversación bajo una licencia Creative Commons. leer artículo original.