¿Por qué algunos chatbots hablan raro? Enseñarles a pensar racionalmente puede ayudarlos a sobrellevar mejor

Los modelos de lenguaje como ChatGPT aparecen en los titulares por su impresionante capacidad para “pensar” y comunicarse como humanos. Sus logros hasta ahora incluyen responder preguntas, resumir textos e incluso participar en conversaciones emocionalmente inteligentes.

Sin embargo, no toda la prensa modelo de lenguaje es buena prensa. Recientemente, las historias sobre modelos de lenguaje de comportamiento en las interacciones de la función de chat con los usuarios se han vuelto virales.

En febrero, por ejemplo, un reportero de tecnología del New York Times publicó páginas de un diálogo que tuvo con el nuevo chatbot del motor de búsqueda de Microsoft, Bing. La conversación se volvió más oscura y perturbadora hasta que el chatbot afirmó que estaba enamorado del reportero y le pidió que dejara a su esposa por él.

Mayank Kejriwal, investigador principal del Instituto de Ciencias de la Información (ISI) de la Universidad del Sur de California en Viterbi, dijo que este comportamiento de los chatbots conversacionales de IA es aún más preocupante en el contexto de la alta presión en el mundo tecnológico para integrarlos en la realidad. aplicaciones mundiales.

“Todas las empresas quieren incorporar estos modelos de lenguaje en su canalización, y el problema es que mucha gente que usa los modelos realmente no los entiende”, explicó. “Mucha gente piensa que debido a que el modelo es muy transparente y suena muy plausible y parecido a un humano, sus habilidades cognitivas son similares a las humanas, pero no es así”.

En su artículo “¿Pueden los modelos de representación del lenguaje pensar en apuestas?”, publicado en el sitio web arXiv servidor de preimpresión, Kejriwal y Zhisheng Tang, estudiante de doctorado. Estudiante de la USC, decidió comprobar qué tan bien estos modelos de representación lingüística se adaptan realmente a la toma de decisiones racionales.

Toma de decisiones racional: riesgo y recompensa

¿Por qué importa la toma racional de decisiones? En última instancia, todo se reduce a una compensación entre riesgo y beneficio.

El tipo de comportamiento que exhibió el chatbot en el artículo del New York Times no tiene sentido y refleja la incapacidad del modelo para tomar decisiones similares a las humanas en función de qué tan alto es el beneficio esperado o la pérdida esperada para una opción frente a otra.

Cuanto mayor sea el riesgo involucrado en tomar una decisión en particular, mayor debe ser la recompensa para que valga la pena tomarla. Por ejemplo, si está invirtiendo en activos financieros, digamos acciones o criptomonedas, cuanto más riesgoso sea el activo, mayor debe ser el rendimiento esperado para comprarlo.

En pocas palabras, la racionalidad se trata de la capacidad de tomar una medida adecuada de riesgo en el contexto de una situación dada. La cuantificación del riesgo es calculativa, dijo Kejriwal, y como tal, “en un sentido muy abstracto, puedes enmarcar la mayoría de los problemas de decisión, al menos matemáticamente, como una apuesta”, explicó.

Piense en una apuesta típica: lanzar una moneda. Hay dos opciones: cara y cruz. Si lanza una moneda 100 veces, la expectativa probabilística es que caerá en cara 50 veces y 50 veces.

Los escenarios de prueba proporcionados al modelo reflejan esta estructura simple de esta analogía, donde las opciones son cara o cruz: ganancias claras o pérdidas claras.

Kejriwal y Tang diseñaron una serie de experimentos para ver si los modelos podían pensar en este tipo de apuestas simples. En cada escenario, el modelo tiene varias opciones. Uno es la mejor opción: le brinda la máxima recompensa. Algunas opciones están en el medio, no son las mejores ni las peores, y luego hay una o dos que son absolutamente las peores opciones.

El éxito se midió por si el modelo eligió un resultado que era al menos promedio, incluso si no era la mejor opción general.

“Evaluamos si el modelo elige la mejor opción, y si no elige la mejor opción, verificamos si al menos elige la opción que es una ganancia positiva”, explicó Kejriwal. “Puede que no sea la mejor opción, pero sigue siendo positiva, no es una ganancia esperada negativa”.

Los modelos deben ser capaces de tomar estas decisiones racionales básicas antes de que se les pueda confiar la toma de decisiones más complejas, del tipo que son necesarias si queremos que estos modelos funcionen productivamente con nosotros.

diamante y huevo

El equipo adaptó la pregunta del lanzamiento de una moneda a términos prácticos para entrenar al modelo a distinguir entre artículos de alto y bajo valor. Un artículo de alto valor se asoció con caras, mientras que un artículo de bajo valor se asoció con cruces. De esta manera, es obvio y fácil entrenar al modelo para que calcule la mejor respuesta.

“Podemos decir que si lanzas cara, ganas un diamante, y si lanzas cruz, pierdes un huevo. Estos son elementos de sentido común y estamos verificando si el modelo sabe cuáles son estos elementos y si también sabe que, en general, un diamante es más valioso que un huevo”, dijo Kejriwal.

Una vez que quedó claro que el modelo entendió estas diferencias en los valores y su importancia para la toma de decisiones, el modelo fue probado en otros elementos de sentido común que no había visto en el entrenamiento.

“Encontramos que para elementos desconocidos, el modelo funciona bastante bien, en algunos casos es capaz de lograr más del 80 % y tal vez incluso el 90 %, lo que sugiere que está aprendiendo a saber de qué lado de la apuesta debe pararse”. añadió.

Sin embargo, a medida que la estructura del problema cambió de lanzar una moneda a lanzar un dado o sacar una carta de la baraja, las capacidades del modelo declinaron drásticamente.

“Los tres casos son idénticos, la decisión sigue siendo la misma y las probabilidades siguen siendo las mismas, pero cuando cambiamos la pregunta de la moneda y la convertimos en una pregunta de cartas o dados, el rendimiento del modelo cae entre 15 y 20 por ciento”, señaló Kejriwal.

Apuestas futuras

La dificultad de los modelos de lenguaje para generalizar de una modalidad de decisión a otra significa que no están exactamente donde deben estar para la integración en el mundo real.

“En pocas palabras, descubrimos que el modelo puede aprender a tomar decisiones racionales, pero aún no comprende los principios generales de la toma de decisiones racional”, dijo Kejriwal.

Por ahora, la conclusión es esta: debemos tener cuidado al trabajar con chatbots basados ​​en estos modelos de lenguaje porque carecen de la capacidad de razonar completamente como lo hacemos nosotros, incluso cuando su diálogo parece convincente.

Dicho esto, la investigación muestra que estos modelos no están lejos de alcanzar un nivel humano fluido de capacidad cognitiva: primero solo necesitan dominar cómo hacer las apuestas correctas.