Pruebas de IA para el 1% superior en términos de pensamiento original y creativo

Pruebas de IA para el 1% superior en términos de pensamiento original y creativo

Erik Guzik es profesor asistente clínico en la Facultad de Negocios de la Universidad de Montana. Fuente: foto de UM por Ryan Brennecke

Una nueva investigación de la Universidad de Montana y sus socios sugiere que la IA podría igualar al 1% de los mejores pensadores en una prueba de creatividad estándar.

El estudio fue dirigido por el Dr. Erik Guzik, profesor clínico asistente en la Facultad de Negocios de la Universidad Médica. Él y sus socios utilizaron las pruebas de pensamiento creativo de Torrance, una herramienta muy conocida que se ha utilizado durante décadas para evaluar la creatividad humana.

Los investigadores enviaron ocho respuestas generadas por ChatGPT, una aplicación impulsada por el motor de inteligencia artificial GPT-4. También enviaron respuestas de un grupo de control de 24 estudiantes de la Universidad de Medicina que asistían a clases sobre emprendimiento y finanzas personales impartidas por Guzik. Estos resultados se compararon con los de 2700 estudiantes de todo el país que tomaron la prueba TTCT en 2016. Todas las presentaciones fueron evaluadas por Scholastic Testing Service, que desconocía que AI estaba involucrada.

Los resultados colocaron a ChatGPT en una empresa de élite en términos de creatividad. La aplicación de IA se clasificó en el percentil más alto en cuanto a fluidez, la capacidad de generar una gran cantidad de ideas, y originalidad, la capacidad de generar nuevas ideas. La IA ha bajado un poco, al percentil 97, debido a la flexibilidad, la capacidad de generar diferentes tipos y categorías de ideas.

“Con ChatGPT y GPT-4, demostramos por primera vez que está en el 1% superior en originalidad”, dijo Guzik. “Era nuevo”.

Le complació ver que algunos de sus estudiantes de UM también estaban en el 1% superior. Sin embargo, ChatGTP superó a la gran mayoría de los estudiantes en todo el país.

Guzik probó la IA y sus alumnos durante el semestre de verano. Fue asistido en su trabajo por Christian Gilde de UM Western y Christian Byrge de la Universidad de Vilnius. Los investigadores presentaron su trabajo en mayo en la Conferencia de Creatividad de la Universidad del Sur de Oregón.

“En la conferencia, tuvimos mucho cuidado de no interpretar demasiado los datos”, dijo Guzik. “Acabamos de presentar los resultados. Pero hemos compartido pruebas sólidas de que la IA parece estar a la par, o incluso superar, las habilidades creativas humanas”.

Guzik dijo que le preguntó a ChatGPT qué indicaría si estaba funcionando bien en TTCT. La inteligencia artificial dio una respuesta contundente, que compartió en la conferencia:

“ChatGPT nos dijo que es posible que no entendamos completamente la creatividad humana, lo cual creo que es correcto”, dijo. “También sugirió que es posible que necesitemos herramientas de evaluación más sofisticadas que puedan distinguir entre ideas generadas por humanos y generadas por IA”.

Dijo que TTCT es material protegido patentado, por lo que ChatGPT no puede “hacer trampa” al acceder a la información de la prueba en línea o en una base de datos pública.

Guzik lleva mucho tiempo interesado en la creatividad. Como estudiante de séptimo grado que creció en la pequeña ciudad de Palmer, Massachusetts, participó en un programa para estudiantes superdotados y superdotados. Esta experiencia lo introdujo al futuro proceso de resolución de problemas desarrollado por Ellis Paul Torrance, un psicólogo pionero que también creó el TTCT. Guzik dijo que en ese momento se enamoró de la lluvia de ideas y cómo afecta la imaginación de las personas, y permanece activo en la organización Future Problem Solving; incluso conoció a su esposa en una de sus conferencias.

Guzik y su equipo decidieron probar la creatividad de ChatGPT después de jugar con él durante el año pasado.

“Todos investigamos con ChatGPT y notamos que hace algunas cosas interesantes que no esperábamos”, dijo. “Algunas de las respuestas fueron novedosas y sorprendentes. Fue entonces cuando decidimos ponerlo a prueba para ver qué tan creativo era realmente”.

Guzik dijo que la prueba TTCT utiliza indicaciones que imitan las tareas creativas de la vida real. Por ejemplo, ¿puede proponer nuevos usos para el producto o mejorarlo?

“Digamos que es una pelota de baloncesto”, dijo. “Piense en tantos usos como sea posible para la pelota de baloncesto. Puedes tirarlo al aro y usarlo en la exhibición. Si te obligas a pensar en nuevos usos, tal vez córtalo y utilízalo como maceta. O el ladrillo se puede usar para construir cosas, o se puede usar como pisapapeles. Pero tal vez pueda triturarse y convertirse en algo completamente nuevo”.

Guzik tenía algunas expectativas de que ChatGPT sería bueno para generar muchas ideas (fluidez) porque eso es lo que hace la IA generativa. Y respondió perfectamente a las indicaciones, brindando muchas ideas que fueron relevantes, útiles y valiosas a los ojos de los evaluadores.

Lo que más le sorprendió fue lo bien que fue capaz de generar ideas originales, que es un sello distintivo de la imaginación humana. Los calificadores de la prueba reciben listas de respuestas rápidas comunes, las que casi se espera que se envíen. Sin embargo, la IA se ubicó en el percentil más alto por generar nuevas respuestas.

“En la conferencia, nos enteramos de estudios previos sobre GPT-3 que se realizaron hace un año”, dijo Guzik. “En ese momento, ChatGPT no se desempeñaba tan bien como los humanos en tareas de pensamiento original. Ahora, con el GPT-4 más avanzado, se encuentra en el 1% superior de todas las respuestas de las personas”.

Él espera que a medida que se aceleren los avances en inteligencia artificial, se convertirá en una herramienta clave para el mundo empresarial del futuro y en un importante nuevo impulsor de la innovación regional y nacional.

“Para mí, la creatividad se trata de hacer las cosas de manera diferente”, dijo Guzik. “Una definición de emprendimiento que me encanta es que ser emprendedor significa pensar diferente. Entonces, la IA puede ayudarnos a aplicar el mundo del pensamiento creativo a los negocios y al proceso de innovación, lo cual es simplemente fascinante para mí”.

Dijo que la Facultad de Negocios de la UM está abierta a enseñar sobre IA e incorporarla en las clases.

“Creo que sabemos que el futuro adoptará la IA de alguna manera”, dijo Guzik. “Tenemos que tener cuidado de cómo se usa y tener en cuenta las reglas y regulaciones necesarias. Pero las empresas ya lo están utilizando para muchas tareas creativas. Cuando se trata de emprendimiento e innovación regional, esto cambia las reglas del juego”.

Proporcionado por la Universidad de Montana


Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *