– ¿Puedo ver su lista de piezas? Lo que nos dicen los problemas que intenta la inteligencia artificial sobre el lenguaje generado por computadora

¿Alguna vez te has preguntado cómo sería coquetear con la inteligencia artificial? La científica e ingeniera Janelle Shane nos dio la idea mientras entrenaba el programa red de neuronas– algoritmo inspirado libremente en las estructuras biológicas del cerebro – para la producción líneas para llamadas.

Algunos de los resultados son divertidísimos y absolutamente inútiles, como el poco elegante: “Rugboat Two-Tone 2017 Rugboat Neck Tie Shirt”. Pero algunos de ellos resultaron bastante bien. Al menos si eres un robot:

“Puedo decir por tu luz roja de poder que te gusto. Te ves como una cosa y te amo. ¿Puedo ver su lista de piezas? “

Pero, ¿cómo se generaron estas líneas y por qué los resultados varían tanto en términos de calidad y consistencia? Depende de los tipos de redes neuronales con las que Shane haya trabajado: todas basadas en GPT-3, el mejor idioma del mundo Modelo Reúnase con alguien.

Modelado de lenguaje

GPT son las siglas de Generative Pre-Trained Transformer. Su versión actual, desarrollada por OpenAI, es la tercera mejora continua lenguaje natural sistemas de procesamiento entrenados para producir texto o habla similar a la humana.

Procesamiento natural del lenguajeo PNL se refiere al uso de computadoras para procesar y generar grandes cantidades de texto hablado o escrito consistente. Ya sea que le pida a Siri que actualice el clima, le pida a Alexa que encienda la luz o use Google para traducir noticias del francés al inglés, puede hacerlo con el desarrollo de PNL.

Requiere una variedad de tareas de PNL, desde el reconocimiento de voz hasta la distinción entre estructuras de oraciones, en aplicaciones como Siri y solicitudes exitosas. El Asistente Virtual, como cualquier otra herramienta de lenguaje, se entrena usando miles de oraciones, preferiblemente tan variadas y variadas como sea posible.

Debido a que el lenguaje humano es extremadamente complejo, las mejores aplicaciones de PNL dependen cada vez más de modelos previamente entrenados que permiten “aprendizaje bidireccional contextualEsto significa considerar el contexto más amplio de una palabra en una oración, escaneando los lados izquierdo y derecho de cualquier palabra para determinar su significado deseado. Los modelos más nuevos pueden incluso llamar la atención sobre características más matizadas lenguaje humano, como la ironía y el sarcasmo.

Felicitaciones por computadora

El GPT-3 es un lenguaje tan exitoso que genera IA porque no requiere un reentrenamiento constante para completar una nueva tarea. En su lugar, utiliza lo que el modelo ya ha aprendido sobre el idioma y lo aplica al archivo. algo nuevo-Como escribiendo artículos y codigo de computadoragenerando nuevo diálogo en videojuegoso formular conversaciones de chat.

En comparación con su predecesor, el GPT-2, el modelo de tercera generación es 116 veces más grande y ha sido entrenado con miles de millones de palabras de datos. Para generar sus poemas para la conversación, se le pidió a GPT-3 que automatizara el texto de un artículo titulado: “¡Aquí están los poemas más populares para descargar en 2021! ¡Sorprende a la persona que te gusta y obtén los resultados! “

Como las actualizaciones de entrenamiento de GPT-3 se agregaron gradualmente con el tiempo, el mismo mensaje también se puede usar en variantes más pequeñas y básicas, lo que genera líneas de conversación más extrañas y menos consistentes:

“Oye, mi nombre es John Smith. ¿Te sentarás en mi panera mientras cocinas, hay algún límite de velocidad? Necesitas convertirte en un atleta profesional con urgencia. MODA DEL CABO “.

Pero la variante GPT-3 ‘DaVinci’, su iteración más grande y competente hasta la fecha, proporcionó algunos intentos más convincentes que podrían tener éxito en coquetear de manera efectiva, con un poco de refinamiento:

“Tienes los colmillos más hermosos que he visto en mi vida. Te amo. No me importa si eres un perro con impermeable. Tengo exactamente 4 pegatinas. Debes ser el quinto “.

La variante más nueva del GPT-3 es actualmente el modelo de lenguaje contextual más grande del mundo y es capaz de realizar una serie de tareas impresionantes. ¿Pero es lo suficientemente inteligente como para pasar por humano?

Casi humano

Como uno de los pioneros de las computadoras modernas y un profundo creyente en la verdadera inteligencia artificial, Alan Turing desarrolló el “Juego Mímico” en 1950, conocido hoy como “prueba de Turing“Si el rendimiento de la computadora es indistinguible del rendimiento humano, pasa la prueba de Turing. En la misma generación de lenguaje GPT-3, pronto puede pasar la prueba de Alan Turing.

Pero realmente no importa si el GPT-3 pasa la prueba de Turing o no. Es probable que su rendimiento dependa de la tarea específica para la que se utilice el modelo, que, a juzgar por el coqueteo de la tecnología, probablemente debería ser algo más que el delicado arte de charlar.

E incluso si hubiera pasado la prueba de Turing, de ninguna manera haría que el modelo fuera realmente inteligente. Estaría excepcionalmente bien entrenado en el mejor de los casos. tareas semánticas específicas. Quizás la pregunta más importante que debemos hacernos es: ¿queremos hacer que GPT-3 sea más humano?

Aprendiendo de la gente

Poco después de su divulgación en el verano de 2020, GPT-3 llegó a los titulares por lanzar contenido sorprendentemente sexista y racista. Pero no fue de extrañar. El generador de idiomas se entrenó con grandes cantidades de texto en Internet y sin volver a entrenar y reentrenar estaba condenado a duplicar prejuicios, lenguaje dañino e información errónea que sabemos que existe en Internet.

Claramente, idioma modelos como el GPT-3 no están disponibles sin amenazas potenciales. Si queremos que estos sistemas sean la columna vertebral de nuestros asistentes digitales o agentes de conversación, debemos ser más rigurosos y selectivos al darles material de lectura del que aprender.

Todavía, investigación reciente demostró que el conocimiento de GPT-3 sobre el lado oscuro de Internet se puede utilizar para detectar automáticamente el discurso de odio en línea con una precisión de hasta el 78%. Entonces, aunque es poco probable que sus tramas provoquen más amor en el mundo, el GPT-3 al menos puede configurarse para reducir el odio.

Este artículo se volvió a publicar con Conversacion bajo una licencia Creative Commons. Leer artículo original.