
Robot Smiles: Eva imita las expresiones faciales humanas en tiempo real desde una cámara de transmisión en vivo. Todo el sistema aprende sin etiquetas humanas. Eva aprende dos habilidades básicas: 1) anticipar cómo se vería si hiciera la expresión facial que está observando, conocida como autoimagen; 2) mapea tu rostro imaginario con acciones físicas. Fuente: Creative Machines Lab / Columbia Engineering
Aunque nuestras expresiones faciales juegan un papel muy importante en la construcción de confianza, la mayoría de los robots todavía tienen la cara vacía y estática del jugador de póquer profesional. Con el uso cada vez mayor de robots en lugares donde los robots y los humanos necesitan trabajar en estrecha colaboración, desde hogares de ancianos hasta almacenes y fábricas, la necesidad de un robot de aspecto más realista y con mayor capacidad de respuesta es cada vez más urgente.
Interesados durante mucho tiempo en la interacción entre robots y humanos, los científicos del Laboratorio de Máquinas Creativas de Columbia Engineering han trabajado durante cinco años para crear el EVA, un nuevo robot autónomo con un rostro suave y expresivo que reacciona para coincidir con las expresiones de las personas cercanas. La investigación se presentará en la conferencia ICRA el 30 de mayo de 2021 y los planes de los robots son de código abierto en la plataforma Hardware-X (abril de 2021).
“La idea de EVA nació hace unos años cuando mis estudiantes y yo comenzamos a notar que los robots en nuestro laboratorio nos miraban con ojos saltones y de plástico”, dijo Hod Lipson, James y Sally Scapa, profesor de innovación (Ingeniería Mecánica). y director de Creative Machines Lab.
Lipson observó una tendencia similar en la tienda de comestibles, donde se encontró con robots de reabastecimiento que llevaban insignias y, en un caso, usaban un sombrero acogedor hecho a mano. “Los humanos parecían humanizar a sus colegas robóticos dándoles ojos, una identidad o un nombre”, dijo. “Nos hizo preguntarnos si los ojos y la ropa funcionan, ¿por qué no crear un robot con un rostro humano súper expresivo y sensible?”
Por simple que parezca, crear una cara de robot convincente fue un gran desafío para los robots. Durante décadas, las partes del cuerpo de los robots estaban hechas de metal o plástico duro, materiales que eran demasiado rígidos para fluir y moverse como lo hacen los tejidos humanos. El hardware robótico era igualmente primitivo y difícil de operar: los circuitos, sensores y motores son pesados, consumen mucha energía y son voluminosos.
La primera fase del proyecto comenzó hace unos años en el laboratorio de Lipson, con el estudiante Zanwar Faraj al frente de un equipo de estudiantes que construyen las “máquinas” físicas del robot. Construyeron el EVA como un busto incorpóreo que es muy similar a las caras tranquilas pero animadas de los artistas de Blue Man Group. El EVA puede expresar seis emociones básicas: ira, disgusto, miedo, alegría, tristeza y sorpresa, así como una serie de emociones más matizadas, utilizando “músculos” artificiales (es decir, cables y motores) que atraen puntos específicos en el EVA de la cara. , imitando los movimientos de 42 pequeños músculos unidos en varios lugares a la piel y los huesos del rostro humano.
“El mayor desafío en el desarrollo de EVA fue diseñar un sistema que fuera lo suficientemente compacto como para encajar dentro de los límites del cráneo humano, pero lo suficientemente funcional como para producir una amplia gama de expresiones facialesObservó Faraj.

Proceso de recopilación de datos: Eva practica expresiones faciales aleatorias grabando cómo se ve desde la cámara frontal. Fuente: Creative Machines Lab / Columbia Engineering
Para afrontar este desafío, el equipo se basó en gran medida en la impresión 3D para producir las piezas formas complejas que se han integrado perfecta y efectivamente en el cráneo de EVA. Después de semanas de tirar de cables para hacer sonreír, fruncir el ceño o verse molesto, el equipo notó que la cara azul e incorpórea del EVA podría desencadenar respuestas emocionales en sus colegas de laboratorio. “Un día estaba en mi propio negocio cuando el EVA de repente me dio una gran sonrisa amistosa”, recuerda Lipson. “Sabía que era puramente mecánico, pero sonreía involuntariamente”.
Una vez que el equipo quedó satisfecho con la ‘mecánica’ del EVA, comenzaron con la segunda fase importante del proyecto: programar la inteligencia artificial para guiar los movimientos del rostro del EVA. Si bien los robots animatrónicos realistas se han utilizado durante años en parques de atracciones y estudios de cine, el equipo de Lipson logró dos avances tecnológicos. El EVA utiliza inteligencia artificial para el aprendizaje profundo de “leer” y luego imitar expresiones en rostros humanos cercanos. La capacidad de EVA para imitar una amplia variedad de diferentes expresiones faciales humanas se aprende mediante prueba y error al ver películas con su participación.
Las actividades humanas más difíciles de automatizar son los movimientos físicos únicos que tienen lugar en condiciones sociales complejas. Boyuan Chen, alumno del Dr. Lipson que dirigió la fase de software del proyecto, rápidamente se dio cuenta de que los movimientos faciales de EVA eran un proceso demasiado complejo para ser manejados con conjuntos de reglas predefinidos. Para enfrentar este desafío, Chen y un segundo equipo de estudiantes crearon el cerebro EVA utilizando varias redes neuronales de aprendizaje profundo. Archivo robotEl cerebro tenía que dominar dos habilidades: primero, aprender a usar su propio sistema complejo de músculos mecánicos para generar expresiones faciales específicas, y segundo, saber qué caras hacer “leyendo” las caras de las personas.
Para enseñarle a EVA cómo se ve su propio rostro, Chen y el equipo filmaron horas de metraje donde el EVA crea una serie de caras aleatorias. Luego, como el humano que observa en Zoom, las redes neuronales internas de EVA aprendieron a vincular los movimientos musculares con videos de su propio rostro. Ahora que EVA tenía un sentido primitivo de cómo funcionaba su propio rostro (conocido como “autoimagen”), utilizó una segunda red para hacer coincidir su propia imagen de sí mismo con la imagen de un rostro humano grabado en su cámara de video. Después de algunos refinamientos y repeticiones, el EVA adquirió la capacidad de leer los gestos faciales humanos de una cámara y reaccionar reflejando las expresiones faciales humanas.
Los científicos señalan que EVA es un experimento de laboratorio, y las expresiones faciales en sí mismas todavía están lejos de las formas complejas en las que las personas se comunican a través de las expresiones faciales. Pero estas tecnologías pueden tener algún día usos reales beneficiosos. Por ejemplo, los robots capaces de responder a una variedad de lenguajes del cuerpo humano serían útiles en lugares de trabajo, hospitales, escuelas y hogares.
“Hay límites en cuanto a lo mucho que los humanos podemos involucrarnos emocionalmente con chatbots en la nube o altavoces incorpóreos en hogares inteligentes”, dijo Lipson. “Nuestros cerebros parecen responder bien a los robots que tienen una presencia física reconocible”.
Chen agregó: “Los robots se entrelazan en nuestras vidas de más y más formas, por lo que generar confianza entre humanos y máquinas se está volviendo cada vez más importante”.
Sitio web del proyecto: www.cs.columbia.edu/~bchen/aiface/