Un equipo de investigación del Instituto Nacional de Informática ha desarrollado una técnica de búsqueda de configuración de simulación automatizada que prueba diferentes comportamientos de los sistemas de conducción automatizados. La investigación se llevó a cabo como parte del proyecto ERATO-MMSD. La técnica propuesta itera los intentos de simulación utilizando un método de optimización llamado cálculo evolutivo para descubrir configuraciones de simulación que conducen a características específicas del comportamiento de conducción, como alta aceleración, desaceleración y dirección. Este estudio fue presentado en ICST 2021. Fuente: © Instituto Nacional de Informática
Un equipo de investigación dirigido por Fuyuki Ishikawa del Instituto Nacional de Informática (NII, Japón) desarrolló una técnica de búsqueda de configuración de simulación automatizada que prueba diferentes comportamientos de los sistemas de conducción automatizados. La investigación se llevó a cabo como parte del proyecto ERATO-MMSD financiado por la Agencia Japonesa de Ciencia y Tecnología (JST, Japón). La técnica propuesta itera los intentos de simulación utilizando un método de optimización llamado cálculo evolutivo para descubrir configuraciones de simulación que conducen a características específicas del comportamiento de conducción, como alta aceleración, desaceleración y dirección. Los resultados de esta investigación se presentaron en ICST 2021, la conferencia insignia de pruebas de software celebrada del 12 al 16 de abril de 2021.
antecedentes
Se presta más atención a los sistemas de conducción automática (ADS) o los sistemas avanzados de asistencia al conductor. Hay nuevos modelos de automóviles con nivel 3 de conducción autónoma que no requieren que los conductores humanos supervisen la conducción en determinadas condiciones. Sin embargo, la funcionalidad práctica de ADS se limita a determinadas situaciones, como atascos de tráfico en carreteras o rutas fijas. Cuando se utiliza ADS en entornos con condiciones extremas, como áreas urbanas, se requiere una mayor seguridad y confiabilidad.
Una de las características clave de ADS es la planificación de rutas, que actualiza constantemente la dirección y la velocidad al examinar el entorno circundante, incluidos otros automóviles y peatones. La función de planificación de la ruta debe tener en cuenta no solo la seguridad, sino también muchos aspectos como el rango de aceleración / desaceleración, la dirección y el cumplimiento del carril.
Las pruebas basadas en simulación se utilizan comúnmente para publicidad. Un enfoque común es que los evaluadores enumeren escenarios. Un ejemplo es “el auto del ego gira a la derecha, pero el auto viene de la dirección opuesta”. Sin embargo, ADS comportamiento puede diferir en el mismo escenario de giro a la derecha, por ejemplo, girar sin frenar o reducir la velocidad y esperar mucho tiempo antes de girar. Es imperativo probar los diversos comportamientos que ADS puede adoptar antes de aplicarlos a la sociedad. Sin embargo, es poco probable que se produzcan comportamientos específicos, como una desaceleración prolongada, cuando los científicos ejecutan múltiples simulaciones en configuraciones con diferentes posiciones de otros automóviles, etc. Además, ADS tiene comportamientos específicos más posibles, por ejemplo, una fuerte aceleración y una gran cantidad de operaciones de dirección que ocurren simultáneamente. Es muy difícil configurar una simulación para causar intencionalmente estos comportamientos específicos.
En este estudio, los investigadores propusieron una técnica de generación de pruebas que encuentra automáticamente configuraciones de simulación que conducen a características específicas del comportamiento de conducción, como alta aceleración y desaceleración, y una gran cantidad de operaciones de dirección. Utilizaron una técnica de optimización llamada computación evolutiva, que repetía pruebas de simulación para ajustar la configuración de modo que cierto comportamiento de conducción continuara durante un largo período de tiempo. De esta manera, el técnico puede detectar configuraciones de simulación, como las posiciones de otros automóviles, que conducen a las características de comportamiento de conducción deseadas.
La técnica propuesta también evita generar solo configuraciones de simulación que conducen solo a situaciones peligrosas como colisiones. Por tanto, revela las características del comportamiento de conducción que no se limitan a situaciones de emergencia. Además, puede buscar y provocar combinaciones de comportamientos, como la ocurrencia simultánea de una alta aceleración y una gran cantidad de operaciones de focalización.
Aplicamos y evaluamos la técnica de generación de pruebas en el programa de planificación de rutas de Mazda. Esta técnica podría generar comportamientos específicos que rara vez se desencadenan en simulaciones aleatorias. Por ejemplo, generó una alta aceleración junto con una gran cantidad de operaciones de dirección, así como una alta aceleración después de una desaceleración prolongada en un escenario de giro a la derecha en una intersección. Estos casos solo ocurrieron en el caso de momentos muy específicos cuando otros autos ingresaron a la intersección. De esta manera, los científicos demostraron que la técnica puede inducir deliberadamente combinaciones de comportamientos específicos utilizando configuraciones de simulación que son muy difíciles de diseñar para los ingenieros.
Perspectivas futuras
Estos estudios se llevaron a cabo como parte del proyecto JST ERATO-MMSD. Como parte del proyecto, los científicos exploraron otras técnicas de descubrimiento. simulación escenarios de falla, técnicas para explicar las causas de fallas y técnicas para corregir el comportamiento para evitar fallas detectadas. En esta ocasión, la investigación tuvo como objetivo aumentar la confianza en la seguridad del sistema mediante la verificación de diversas situaciones, además de técnicas para detectar y solucionar comportamientos problemáticos. En consecuencia, los investigadores desarrollaron un enfoque integral para las pruebas de ADS, incluidas las pruebas de detección de problemas y las pruebas de verificación de casos que se realizaron para programas convencionales.
A finales de 2020, hubo un concurso de herramientas para generar pruebas para Sistemas Avanzados de Asistencia al Conductor (ADAS) (en conjunto con el taller SBST que se realizará en mayo de 2021). El proyecto ERATO-MMSD presentó a concurso una herramienta llamada Frenetic. Frenetic ha logrado resultados notables en cuanto a las tasas de averías generadas y su diversidad. Este fue exactamente el resultado de la experiencia de investigación antes mencionada.
Los científicos desarrollaron técnicas integrales de prueba de ADS. Aunque utilizaron un programa proporcionado por Mazda para realizar las evaluaciones, estas técnicas son genéricas y pueden adaptarse a los requisitos específicos de cada empresa automotriz. Por ejemplo, pueden adaptar técnicas al marco emergente llamado seguridad de responsabilidad propuesto por Intel y Mobileye. Se esforzarán por poner a disposición técnicas, adaptándolas a los estándares internacionales emergentes, así como a los requisitos de cada empresa de automoción.
Comentario de Fuyuki Ishikawa
“Hemos estado investigando activamente el componente de planificación de rutas en cooperación con Mazda. Hemos creado un conjunto holístico de técnicas de prueba y depuración, incluida la mencionada anteriormente, adaptando las técnicas al código de programa convencional. La clave de estas técnicas es buscar soluciones como las pruebas deseadas y las acciones correctivas deseadas. Ampliaremos y verificaremos empíricamente las técnicas resultantes de los estándares emergentes, así como los diferentes requisitos en cada aplicación de ADS ”.
Más información:
Paolo Arcaini y col. Orientación a patrones de rendimiento de conducción en pruebas de sistemas de conducción autónomos, Conferencia internacional IEEE sobre pruebas, verificación y validación de software (ICST 2021 Industry Path)
Proporcionado por la Organización de Investigación de Sistemas e Información