El marco Buddy Compiler, en progreso, incluirá un marco de referencia, una arquitectura específica de dominio, un módulo de desarrollo conjunto y un marco de compilador como servicio, así como un marco de compilación. Fuente: Hongbin Zhang et al.
El codiseño, o el diseño simultáneo de software y hardware, es una forma de satisfacer las necesidades de potencia informática de las aplicaciones de IA actuales. La pieza clave del rompecabezas son los compiladores, que traducen las instrucciones de una representación a otra. Un grupo de investigadores de la Academia de Ciencias de China resumió las tecnologías de compilación existentes en el codiseño de aprendizaje profundo y propuso su propio marco, Buddy Compiler.
El artículo de revisión del grupo fue publicado en la revista Procesamiento inteligente.
Mientras que otros han resumido optimizaciones, arquitecturas de hardware, enfoques de codiseño y técnicas de construcción, nadie ha discutido los sistemas de aprendizaje profundo desde una perspectiva de tecnología de construcción de codiseño. Los investigadores han estudiado el aprendizaje profundo desde este ángulo porque creen que “las tecnologías de compilación pueden brindar más oportunidades para el diseño colaborativo y, por lo tanto, pueden cumplir mejor con los requisitos de rendimiento y potencia de los sistemas de aprendizaje profundo”.
La revisión cubre cinco temas:
- Una historia de aprendizaje profundo y codiseño
- Aprendizaje profundo y codiseño ahora
- Cree tecnologías para el diseño colaborativo de aprendizaje profundo
- Temas actuales y tendencias futuras
- Compilador de amigos
Una historia de aprendizaje profundo y codiseño
Desde la década de 1950, las redes neuronales han pasado por muchos altibajos, lo que ha llevado al crecimiento explosivo actual en las aplicaciones e investigaciones de aprendizaje profundo. El codiseño comenzó en la década de 1990 y desde entonces se ha adoptado en varios campos, pasando del trabajo manual al diseño asistido por computadora y eventualmente convirtiéndose en un proceso complejo que involucra modelado, simulación, optimización, síntesis y prueba.
A partir de 2020, un modelo de red llamado transformador ha sido un gran éxito: ChatGPT es un chatbot creado con un “transformador generativo preentrenado”. Las aplicaciones de IA actuales, como ChatGPT, están alcanzando un nuevo cuello de botella de rendimiento que nuevamente requerirá el diseño conjunto de hardware y software.
Aprendizaje profundo y codiseño ahora
El avance en el aprendizaje profundo se debe al uso de múltiples capas y una gran cantidad de parámetros, lo que aumenta significativamente los requisitos computacionales para el aprendizaje y la inferencia. Por lo tanto, confiar únicamente en la optimización a nivel de software y conseguir tiempos de ejecución razonables se convierte en un desafío. Para superar esto, tanto la industria como la academia han recurrido a soluciones de hardware de dominio específico, buscando lograr el rendimiento requerido a través de esfuerzos de colaboración entre el hardware y el software, lo que se conoce como codiseño de hardware y software.
Recientemente ha surgido un sistema integral que incluye marcos de trabajo de aprendizaje profundo, bibliotecas de alto rendimiento, compiladores específicos de dominio, modelos de desarrollo, flujos de herramientas de hardware y técnicas de codiseño. Juntos, estos componentes contribuyen a hacer que los sistemas de aprendizaje profundo sean más eficientes y efectivos.
Cree tecnologías para el diseño colaborativo de aprendizaje profundo
Hay dos ecosistemas populares que se utilizan para crear compiladores de aprendizaje profundo: la máquina virtual de tensor, conocida como TVM, y la representación intermedia multinivel, conocida como MLIR. Estos ecosistemas utilizan diferentes estrategias, TVM actúa como compilador de aprendizaje profundo de extremo a extremo y MLIR actúa como infraestructura de compilación. Mientras tanto, en el ámbito de las arquitecturas de hardware adaptadas a las cargas de trabajo de aprendizaje profundo, existen dos tipos básicos: arquitectura de transmisión y arquitectura de motor de cómputo.
Los flujos de herramientas de diseño de hardware asociados con estas arquitecturas también incluyen nuevas técnicas de construcción para impulsar el progreso y la innovación. La combinación de compiladores de aprendizaje profundo y técnicas de compilación de hardware abre nuevas oportunidades para el codiseño de aprendizaje profundo.
Temas actuales y tendencias futuras
Dado que las demandas de rendimiento crecen demasiado rápido para que el desarrollo de procesadores se mantenga al día, el codiseño efectivo es fundamental. El problema con el codiseño es que no existe una sola forma de hacerlo, no hay un marco de codiseño unificado ni abstracciones. Si se requieren varias capas de abstracción, el rendimiento se ve afectado. La personalización de compiladores para dominios específicos requiere mucho trabajo. Se están formando ecosistemas unificadores, pero las causas profundas de la fragmentación permanecen. La solución a estos problemas sería un marco unificador modular y extensible.
Compilador de amigos
Colaboradores Proyecto Buddy Compiler están “comprometidos con la construcción de un ecosistema de codiseño de hardware y software escalable y flexible”. Los módulos del ecosistema incluirán una plataforma de compilación, una plataforma de compilación como servicio, una plataforma de referencia, una arquitectura específica de dominio y un módulo de desarrollo conjunto. Los dos últimos módulos aún están en proceso.
Los autores anticipan un mayor desarrollo de los ecosistemas de construcción que ayudarán a unificar el trabajo que se realiza en el campo del aprendizaje profundo, de rápido crecimiento y algo fragmentado.
Más información:
Hongbin Zhang et al., Compiler Technologies in Deep Learning Co-Design: A Survey, Procesamiento inteligente (2023). DOI: 10.34133/icomputación.0040
Proporcionado por Computación Inteligente