Control de gestos para escalar el modelo 3D de la aeronave. Fuente: © Fraunhofer FKIE
El mantenimiento de aeronaves modernas es un proceso complejo. El uso de gafas inteligentes AR con visualización de información en 3D debería facilitar el trabajo de reparación y mantenimiento para los mecánicos de aeronaves. Los elementos virtuales como manuales, pantallas y herramientas técnicas se pueden operar mediante gestos, voz y vista. Con la ayuda de sistemas de realidad aumentada, científicos del Instituto Fraunhofer de Comunicación, Procesamiento de Información y Ergonomía FKIE desarrollaron conceptos y soluciones para el mantenimiento del Airbus A400M.
Los aviones modernos están equipados con innumerables dispositivos y componentes mecánicos y electrónicos. En aviones como el Airbus A400M, solo el motor consta de más de 10.000 piezas individuales. Por lo tanto, el servicio y el mantenimiento de aeronaves son tareas exigentes. Hasta ahora, los manuales impresos han ayudado a los mecánicos de aeronaves en su difícil trabajo. Sin embargo, estos manuales estructurados son voluminosos y, por lo tanto, pueden ser difíciles de usar, especialmente cuando necesita consultar varios manuales a la vez.
En espacios reducidos como la cabina, hacer malabarismos con los documentos genera problemas de espacio y falta de transparencia. Además, las representaciones 2D de tareas de ensamblaje complejas no siempre son obvias y pueden resultar engañosas. En el peor de los casos, esto puede conducir a errores de mantenimiento. Las guías virtuales en 3D que se superponen en el campo de visión del usuario cuando usa gafas inteligentes AR podrían resolver estos problemas y reemplazar las instrucciones de mantenimiento en 2D a largo plazo.
Los investigadores que trabajan en el proyecto ‘Ariel’ en la división ‘Human Machine Systems’ de Fraunhofer FKIE han evaluado cómo la realidad aumentada puede ayudar a los mecánicos de aeronaves en el trabajo de mantenimiento utilizando dos casos de uso: ‘Instalación de pantallas en cabina’ y ‘Mantenimiento de baterías en el taller’, por cierto. de ejemplo
Los conceptos prototipo del Airbus A400M se probaron con dos tipos de gafas AR: Microsoft HoloLens 2 y Epson Moverio BT-300. La atención se centró en diseñar visualizaciones de información 3D apropiadas y técnicas de interacción, como controles de gestos, mirada y voz. Cinco mecánicos de aeronaves participaron en las pruebas, teniendo en cuenta las cuestiones de usabilidad, experiencia del usuario y comodidad.
Concepto de interacción dedicado para cada par de gafas inteligentes AR
“El desarrollo del concepto involucró muchos aspectos, como incorporar el conocimiento de expertos en el dominio, analizar las actitudes de los evaluadores en el lugar de trabajo, verificar su equipo personal y su compatibilidad con las gafas inteligentes AR, y desarrollar un concepto de interacción único para cada par de gafas. , basado en diferentes requisitos en términos de uso, organización y diseño”, explica Martin Mundt, científico de sistemas hombre-máquina, resumiendo el flujo de trabajo.
Los conceptos también se adaptaron a áreas de aplicación muy contrastantes: la primera fue la cabina, donde la interacción de gestos extensa es limitada y donde también hay un mayor nivel de ruido que afecta el posible reconocimiento de voz. Además, se creó el concepto de ambiente de taller. Gracias a la iluminación controlada, era muy adecuado para la detección automática de objetos.
“Ampliamos las regulaciones existentes, las implementamos en 3D y las complementamos con animaciones que visualizan actividades individuales directamente en el elemento visualizado virtualmente. Esto puede ser, por ejemplo, una medición de la resistencia de la batería o marcas especiales en el modelo de la cabina”, dice el investigador.
Realización de una prueba de batería con medición de resistencia guiada en el taller. Fuente: © Fraunhofer FKIE
Elementos de interacción muy versátiles
El equipo se basó en técnicas de entrada multimodal que permitían al usuario interactuar independientemente de las limitaciones impuestas por una tarea dada o ciertas variables ambientales. Para ello se han diseñado diversos elementos de interacción que se pueden controlar mediante la vista y los gestos. Se han considerado varios enfoques para evitar entradas no deseadas cuando se usa el control visual.
Finalmente, se tomó la decisión de introducir datos de entrada observando brevemente el elemento de interacción. Se llena un indicador (similar a una barra de progreso), que muestra cuánto tiempo más tiene el usuario que mirar el elemento para ejecutarlo. Alternativamente, el usuario puede activar el elemento de interacción presionándolo con el dedo índice.
Interacción intuitiva con gafas inteligentes
En general, los encuestados calificaron la interacción como “intuitiva”. Se elogió el control visual, y la mayoría de los probadores lo prefirieron a los controles de gestos o de voz. La superposición directa de información relevante durante el mantenimiento de la batería ayudó a identificar componentes específicos. Las animaciones que sirven como ilustración adicional de las tareas de montaje fueron evaluadas positivamente.
Por otro lado, hubo algunas preocupaciones al usar controles de gestos. Como resultado, además de las aplicaciones de demostración, el equipo de investigación desarrolló un entorno de aprendizaje que utilizaba animaciones para enseñar a los usuarios gestos básicos y técnicas de interacción.
Mantenimiento remoto como opción adicional
El siguiente paso es la capacidad de registrar y digitalizar documentación y notas sobre el progreso del trabajo. También debería ser posible convocar a expertos. “Queremos abordar tareas de mantenimiento remoto que se centren principalmente en la interacción entre los participantes”, dice Mundt. Además de los casos de uso analizados, los investigadores quieren explorar otras áreas de aplicación, considerando que otros sectores también pueden beneficiarse del uso de la realidad aumentada para trabajos de mantenimiento y reparación.
Gracias a ello, se podría compensar en cierta medida la escasez de trabajadores cualificados en el sector energético. Por ejemplo, AR puede ayudar a los técnicos menos experimentados a instalar bombas de calor, ya que las instrucciones paso a paso en 3D también guían a los principiantes de manera segura a través de las tareas de mantenimiento.