Nuevo código de máquina neuronal para programar computadoras de yacimientos

La computación de reservorio es un marco computacional prometedor basado en redes neuronales recursivas (RNN) que esencialmente asigna datos de entrada a un espacio de computación multidimensional, manteniendo constantes algunos parámetros de la red neuronal artificial (ANN) mientras actualiza otros. Este marco puede ayudar a mejorar el rendimiento de los algoritmos de aprendizaje automático al tiempo que reduce la cantidad de datos necesarios para entrenarlos adecuadamente.

Los RNN básicamente usan conexiones repetidas entre sus diversas unidades de procesamiento para procesar datos secuenciales y hacer predicciones precisas. Si bien se ha demostrado que los RNN se desempeñan bien en muchas tareas, optimizar su rendimiento mediante la identificación de los parámetros que son más apropiados para la tarea a la que se enfrentarán puede ser difícil y llevar mucho tiempo.

Jason Kim y Dani S. Bassett, dos investigadores de la Universidad de Pensilvania, introdujeron recientemente un enfoque alternativo para el diseño y la programación de computadoras de tanques basadas en RNN que se inspira en cómo se ejecutan los lenguajes de programación en el hardware de la computadora. Este enfoque, publicado en Inteligencia artificial de la naturalezapuede identificar los parámetros apropiados para una red determinada mediante la programación de sus cálculos para optimizar su rendimiento para problemas específicos.

“Ya sea calculando una propina o simulando múltiples movimientos en un juego de ajedrez, siempre nos ha interesado cómo el cerebro representa y procesa la información”, dijo Kim a Tech Xplore. “Nos inspiramos en el éxito de las redes neuronales recursivas (RNN) tanto para modelar la dinámica cerebral como para aprender cálculos complejos. Sobre la base de esta inspiración, hicimos una pregunta simple: ¿qué pasaría si pudiéramos programar RNN de la misma manera que hacemos computadoras? el trabajo en teoría de control, sistemas dinámicos y física nos dijo que no era un sueño imposible”.

El código de máquina neuronal introducido por Kim y Bassett se obtuvo al descompilar las representaciones y dinámicas internas de RNN para guiar su análisis de entrada. Su enfoque es similar al proceso de compilación de un algoritmo en hardware, lo que implica especificar las ubicaciones y los momentos en los que se deben encender y apagar los transistores individuales.

“En la RNN, estas operaciones se especifican simultáneamente en pesos distribuidos por la red, y las neuronas realizan las operaciones en paralelo y almacenan la memoria”, explicó Kim. “Usamos las matemáticas para definir un conjunto de operaciones (pesos de conexión) que ejecutarán el algoritmo deseado (por ejemplo, resolver una ecuación, simular un videojuego) y para aislar un algoritmo que se ejecuta en el conjunto de pesos existente. las ventajas únicas de nuestro enfoque son que no requiere datos ni muestreo y que define no solo una conectividad sino un espacio de patrones de conectividad que activa el algoritmo deseado”.

Los investigadores demostraron las ventajas de su estructura usándola para desarrollar RNN para una variedad de aplicaciones, incluidas máquinas virtuales, puertas lógicas y un videojuego de ping-pong basado en IA. Se ha encontrado que todos estos algoritmos funcionan excepcionalmente bien sin tener que ajustar sus parámetros a través de prueba y error.

“Una de las contribuciones notables de nuestro trabajo es un cambio de paradigma en la forma en que entendemos y estudiamos RNN, desde herramientas de procesamiento de datos hasta computadoras completas”, dijo Kim. “Este cambio significa que podemos estudiar un RNN entrenado y saber qué problema resuelve, y podemos diseñar un RNN para realizar tareas sin datos de entrenamiento o propagación hacia atrás. En la práctica, podemos inicializar nuestras redes con un algoritmo basado en hipótesis en lugar de pesos aleatorios o RNN preentrenados, y podemos extraer directamente el modelo entrenado de los RNN”.

El marco de programación y el código de máquina neuronal introducidos por este equipo de investigadores pronto podrán ser utilizados por otros equipos para diseñar RNN de mejor rendimiento y ajustar fácilmente sus parámetros. Kim y Bassett finalmente esperan usar su marco para crear un software completo que se ejecute en hardware neuromórfico. En su próxima investigación, también planean desarrollar un enfoque para extraer algoritmos aprendidos por computadoras de reservorio entrenadas.

“Si bien las redes neuronales son excepcionales en el procesamiento de datos complejos y multidimensionales, su funcionamiento generalmente requiere mucha energía y es extremadamente difícil comprender lo que han aprendido”, dijo Kim. “Nuestro trabajo proporciona un trampolín para descompilar y traducir directamente los pesos entrenados en un algoritmo explícito que se puede ejecutar de manera mucho más eficiente sin la necesidad de RNN y analizar más a fondo para la comprensión y el rendimiento científicos”.

El grupo de investigación de Bassett en la Universidad de Pensilvania también está trabajando en el uso de métodos de aprendizaje automático, particularmente RNN, para recrear los procesos y habilidades mentales humanos. El código de máquina neuronal que crearon recientemente puede respaldar sus esfuerzos en esta área de investigación.

“La segunda dirección de investigación emocionante es diseñar RNN para realizar tareas específicas de la cognición humana”, agregó Dani S. Bassett, el profesor que supervisa la investigación. “Usando teorías, modelos o definiciones de procesos cognitivos basadas en datos, imaginamos diseñar RNN que involucren la atención, la propiocepción y la curiosidad. Al hacerlo, queremos comprender los perfiles de conectividad que respaldan procesos cognitivos tan distintos”.

© 2023 Ciencia X Red