Plataforma de simulación multisensorial para entrenar y probar robots domésticos

Plataforma de simulación multisensorial para entrenar y probar robots domésticos

En el simulador de IA incorporado de Sonicverse, un agente en el entorno puede actuar como un oyente para recibir información direccional sobre una fuente de sonido y realizar tareas que requieren percepción audiovisual. La plataforma también cuenta con una interfaz de realidad virtual audiovisual que permite la interacción humano-robot a través de comandos de voz. El equipo capacitó a los agentes de navegación audiovisual en su simulador y realizó con éxito la transferencia de Sim2Real en entornos de la vida real, como la cocina de una oficina. Fuente: Gao et al.

Los robots impulsados ​​por IA se están volviendo más sofisticados y se están introduciendo gradualmente en muchos entornos del mundo real, incluidos centros comerciales, aeropuertos, hospitales y otros lugares públicos. En el futuro, estos robots también podrían ayudar a las personas con las tareas del hogar, los mandados de la oficina y otras tareas tediosas o que consumen mucho tiempo.

Sin embargo, antes de que los robots puedan implementarse en entornos reales, los algoritmos de IA que controlan sus movimientos y les permiten realizar tareas específicas deben entrenarse y probarse en entornos simulados. Si bien ahora hay muchas plataformas para entrenar estos algoritmos, muy pocas tienen en cuenta los sonidos que los robots pueden detectar e interactuar mientras realizan tareas.

Un equipo de científicos de la Universidad de Stanford creó recientemente Sonicverse, un entorno simulado para entrenar agentes de IA encarnados (es decir, robots), que incluye elementos visuales y de audio. Esta plataforma, presentada en el artículo presentado en ICRA 2023 (y actualmente disponible en arXiv servidor de preimpresión), puede simplificar en gran medida el entrenamiento de algoritmos que se implementarán en robots que usan cámaras y micrófonos para navegar por su entorno.

“Si bien los humanos percibimos el mundo al mirar y escuchar, muy pocos trabajos previos han abordado el aprendizaje incorporado a través del sonido”, dijo Tech Xplore Ruohan Gao, uno de los investigadores que dirigió el estudio. “Los simuladores de IA incorporados existentes asumen que el entorno es silencioso y los agentes no pueden detectar el sonido, o implementan agentes audiovisuales solo en la simulación. Nuestro objetivo era presentar una nueva plataforma de simulación multisensorial con una simulación audiovisual integrada realista para capacitar a los agentes domésticos que pueden ver y oír”.

Sonicverse, una plataforma de simulación creada por Gao y sus asociados, modela tanto las imágenes de un entorno determinado como los sonidos que un agente detectaría al explorar ese entorno. Los investigadores esperaban que esto ayudaría a entrenar a los robots de manera más efectiva en espacios virtuales más “realistas”, mejorando su desempeño posterior en el mundo real.

“A diferencia del trabajo anterior, esperamos demostrar que los agentes capacitados en simulación pueden realizar con éxito la navegación audiovisual en entornos duros del mundo real”, explicó Gao. “Sonicverse es una nueva plataforma de simulación multisensorial que modela la reproducción continua de audio en entornos 3D en tiempo real. Se puede utilizar como banco de pruebas para muchas tareas de interacción humano-robot que requieren percepción audiovisual, como la navegación audiovisual. ”

Para evaluar su plataforma, los investigadores la usaron para entrenar una versión simulada de TurtleBot, un robot creado por Willow Garage, para navegar con éxito en un entorno interior y llegar a su ubicación objetivo sin chocar con obstáculos. Luego aplicaron la IA entrenada en sus simulaciones a un TurtleBot real y probaron sus capacidades de navegación audiovisual en un entorno de oficina.

“Demostramos el realismo de Sonicverse al pasar de la simulación a la realidad, lo que otros simuladores audiovisuales no han logrado”, dijo Gao. “En otras palabras, hemos demostrado que un agente entrenado en nuestro simulador puede realizar con éxito una navegación audiovisual en entornos reales, como la cocina de una oficina”.

Los resultados de las pruebas realizadas por los investigadores son muy prometedores, lo que sugiere que su plataforma de simulación puede entrenar a los robots para que se enfrenten de manera más efectiva a las tareas del mundo real, utilizando estímulos tanto visuales como auditivos. El plataforma sonicverse ahora está en línea y pronto podría ser utilizado por otros equipos de robótica para entrenar y probar agentes de IA incorporados.

“El aprendizaje incorporado multimodal tiene un gran potencial para desbloquear muchas aplicaciones nuevas para futuros robots domésticos”, agregó Gao. “En nuestra próxima investigación, planeamos integrar recursos de objetos multisensoriales como los de nuestro último trabajo ObjectFolder en el simulador para que podamos modelar entradas multisensoriales tanto a nivel espacial como de objeto, e incorporar otras modalidades sensoriales como la detección háptica”.

Más información:
Ruohan Gao et al., Sonicverse: una plataforma de simulación multisensorial para agentes domésticos encarnados que pueden ver y oír, arXiv (2023). DOI: 10.48550/arxiv.2306.00923

Sobre el diario:
arXiv


© 2023 Ciencia X Red

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *