Uso de aprendizaje automático y radar para detectar drones en condiciones urbanas complejas

¡Mira al cielo! ¡Este es un pájaro! ¡Es un avión! Esto … de hecho, es bastante fácil detectar la diferencia con el radar. A pesar de los extraterrestres voladores de Krypton, simplemente hay pocas cosas que se mueven a través del cielo abierto, en su mayoría vacío, que es tan grande y rápido como un avión.

Pero si las señales de radar viajan desde las nubes a las calles de la ciudad, de repente aparecen muchos objetos que pueden confundirse entre sí. Con solo la distancia, la velocidad y la dirección, los drones pueden “ocultarse a la vista” fácilmente en las pantallas de radar entre los automóviles que se mueven lentamente, los ciclistas, un corredor e incluso las aspas giratorias del aire acondicionado.

A medida que los drones se vuelven más populares y más inquietantes desde el punto de vista de la seguridad, muchos proyectos han intentado diseñar sistemas para detectarlos. Mientras era director de programas de la Agencia de Proyectos de Investigación de Defensa Avanzada (DARPA), Jeffrey Krolik, profesor de ingeniería eléctrica y Ingeniería Informática en la Universidad de Duke, lanzó uno de esos proyectos llamado “Aerial Dragnet”. Mediante el uso de una red de drones sobrevolando una ciudad u otra gran área desarrollada que necesita defensa, muchos tipos de sensores se asomaron a los cañones de la ciudad y detectaron drones. El proyecto completó recientemente con éxito la prueba municipal de Rossyln, VA, pero aún existen desafíos para distinguir los drones del “desorden” urbano.

Usar una flota de drones amistosos para encontrar drones enemigos tiene sentido al establecer una unidad militar que intente asegurar una vasta área urbana. Sin embargo, en lugares donde el propósito es proteger un activo, como una embajada, un hospital o un campamento, se requiere un sistema que pueda mantener el perímetro a una distancia segura. Una vez más financiado por DARPA, Krolik se vuelve hacia el radar, aprendizaje automático y equipo especializado para crear un sistema de vigilancia de drones con alcance suficiente para permitir la detección y parada de drones antes de que lleguen a un área protegida de la ciudad.

“Hay sistemas que pueden detectar las señales que se utilizan para controlar los drones terminados, pero estos suelen ser bastante caros y ya hay drones comerciales que pueden volar de forma autónoma sin ningún control de radio”, dijo Krolik. “Necesitamos sistemas de detección que puedan detectar estas cosas donde y cuando estén en el aire, sin importar cómo se controlen”.

Si bien la computadora puede entrenarse para percibir visualmente el dron, el sistema óptico tendría un alcance muy limitado. Podría usar una lente telescópica, pero su campo de visión sería significativamente limitado. En cambio, Krolik está recurriendo a la misma tecnología que cambió el rumbo contra los enemigos aéreos en la Segunda Guerra Mundial: el radar. Pero la tecnología de la década de 1940 se actualiza a partir de 2020 con un tipo de aprendizaje automático llamado redes neuronales profundas (DNN).

Enseñanza de radar street intelligence

La idea de Krolik es instalar una antena de radar para escanear un área de paisaje urbano bajo observación. En días o semanas, en ausencia de drones, DNN aprende a distinguir entre automóviles, bicicletas, personas y otros objetos aprendiendo su cinemática, también vista como “micro-doppler” en el retorno de radar. cuando los caminos que siguen se mueven por el espacio.

“La mayoría de los sistemas están diseñados en el laboratorio para que se puedan sacar en el campo”, dijo Krolik. “Este aprende de su entorno, ya que la mayor parte del tiempo no hay ningún dron”.

Por ejemplo, los automóviles tienden a viajar por carreteras. Y aunque las bicicletas y los peatones tienen una dinámica más variable, sus firmas micro-Doppler son muy distintivas. Con el tiempo, el algoritmo aprende qué señales de radar son normales para un espacio determinado, por lo que cuando el dron está volando, con un movimiento de hélice y una trayectoria muy diferente a la que normalmente hay alrededor, activará una alarma.

Funciona hasta ahora. En el campus de Duke, el sistema pudo clasificar con éxito los drones en comparación con ciclistas, peatones, automóviles y otros objetos el 98% del tiempo.

Para ser claros, Krolik y su equipo no vuelan drones por el campus en ningún momento del día o de la noche. En cambio, le enseñan al algoritmo a conocer el tráfico normal alrededor del estacionamiento de Science Drive y a recopilar datos por separado de un dron que vuela en Duke Forrest. Luego combinaron los datos de forma computacional y dejaron que DNN procediera a trabajar en el mashup resultante.

Red neuronal cableada

Para obtener ayuda con el algoritmo de detección de drones DNN, Krolik recurrió a Helen Li, profesora de ingeniería eléctrica e informática Clare Boothe Luce en Duke. Los DNN funcionan esencialmente moviendo una ventana sobre una imagen en forma de cuadrícula, determinando qué característica está presente en cada ventana y pasando esa información a una nueva capa de datos. El proceso se repite hasta que la imagen se reduce a las funciones más básicas que permiten que el programa la categorice.

Los DNN son inevitablemente programas informáticos de alta densidad que pueden conectar un procesador tradicional mucho más tiempo de lo que requeriría un sistema de vigilancia con drones. Sin embargo, puede acelerar el algoritmo dividiendo las tareas en partes que se pueden procesar simultáneamente. Una opción de hardware común para enfrentar este desafío son las unidades de procesamiento de gráficos (GPU), que son procesadores especializados originalmente diseñados para acelerar la reproducción de gráficos, que también son útiles en aplicaciones de aprendizaje automático, edición de video y juegos.

Pero cualquiera que haya compilado un video de una hora de duración o haya perdido la noción de la sincronización en los juegos sabe que las GPU producen mucho calor y consumen mucha energía. Para aumentar el rendimiento del sistema de detección de drones, Li recurrió a las matrices de puertas programables (FPGA).

“Aunque la GPU es superpoderosa, también es un desperdicio”, dijo Li. “En cambio, podemos crear un diseño específico de la aplicación que sea adecuado para el procesamiento de señales de radar”.

Como su nombre indica, los FPGA se pueden diseñar y rediseñar para procesar ciertas tareas de manera más eficiente conectando permanentemente algunos de los cálculos al dispositivo en sí. Esto permite a los profesionales de TI determinar quirúrgicamente la cantidad de potencia informática necesaria para proporcionar todos los aspectos del algoritmo.

“Los FPGA se pueden optimizar para un modelo de red neuronal específico sin tener que admitir otros modelos en diferentes configuraciones y tamaños”, continúa Li, quien ayudó a impulsar la tendencia de usar FPGA en aplicaciones de aprendizaje automático. “Y donde los códigos comunes deben pasar primero por el sistema operativo y los compiladores antes de llegar al hardware, nuestro enfoque esencialmente implementa el algoritmo DNN directamente en las placas FPGA”.

Puse el listón alto

El resultado es un sistema que no solo detecta drones con un 98% de precisión, sino también un sistema que usa 100 veces menos energía que un sistema similar basado en GPU, todo mientras mantiene el rendimiento y la velocidad requeridos para el funcionamiento en tiempo real.

Krolik y Li creen que los resultados hasta ahora son prometedores, y DARPA también lo cree. Después de completar la primera fase de medio millón de dólares del proyecto y presentar los resultados, el proyecto recibió una subvención de medio millón de dólares en una subvención durante un período de nueve meses. ¿Su desafío a largo plazo?

Las aves.

“Resulta que cuando miras solo la velocidad y el rumbo de un objeto volador, un pájaro puede ser muy similar zumbidodijo el Conejo. – Con la ayuda del personal de Duke Gardens, recopilamos datos de radar sobre una amplia variedad de aves alrededor del estanque de patos en el jardín. Hasta ahora, nuestro algoritmo DNN ha podido distinguir aves de drones con más del 97% de precisión. Ahora tenemos que juntarlo todo para detectar drones versus pájaros, automóviles y peatones en un entorno verdaderamente urbano. Fue muy divertido trabajar con Helen y el resto del equipo, y tenemos el resto del verano para resolverlo “.