El algoritmo de la CPU entrena redes neuronales profundas hasta 15 veces más rápido que los mejores entrenadores de GPU

Los informáticos de la Universidad de Rice demostraron un software de inteligencia artificial (IA) que se ejecuta en CPU ordinarias y entrena redes neuronales profundas 15 veces más rápido que las plataformas basadas en GPU.

“El costo de la capacitación es un verdadero cuello de botella en la IA”, dijo Anshumali Shrivastava, profesor asistente de ciencias de la computación en la Escuela de Ingeniería Brown de Rice. “Las empresas gastan millones de dólares a la semana solo en capacitar y ajustar las cargas de trabajo de IA”.

Shrivastava y sus colegas de Rice e Intel presentarán una investigación sobre este cuello de botella el 8 de abril en la Conferencia de aprendizaje automático MLSys.

Profundo Redes neuronales (DNN) es una forma poderosa inteligencia artificial que puede superar a los humanos en algunas tareas. El entrenamiento DNN suele ser una serie multiplicación de matrices operaciones, carga de trabajo ideal para unidades de procesamiento de gráficos (GPU) que cuestan aproximadamente tres veces más que las unidades de procesamiento central (CPU) de propósito general.

“Toda la industria se centra en un tipo de mejora: una multiplicación de matrices más rápida”, dijo Srivastava. “Todo el mundo busca hardware y arquitecturas especializados para forzar la multiplicación de matrices. La gente incluso está hablando ahora de tener pilas de hardware y software especializados para ciertos tipos de aprendizaje profundo. En lugar de utilizar un algoritmo costoso y lanzarle todo el mundo de la optimización del sistema, digo: “Volvamos al algoritmo”.

Shrivastavy Lab hizo esto en 2019, convirtiendo el entrenamiento de DNN en un problema de búsqueda que se puede resolver con tablas hash. Su “Sublink Deep Learning Engine” (SLIDE) está diseñado específicamente para ejecutarse en CPU estándar, y Shrivastava e Intel han demostrado que puede superar la capacitación basada en GPU. lo presentó en MLSys 2020.

Investigar se presentará esta semana en MLSys 2021 investigó si el rendimiento de SLIDE podría mejorarse con aceleradores de optimización de memoria y vectorización en procesadores modernos.

“La aceleración de la tabla hash ya está superando a la GPU, pero los procesadores también están evolucionando”, dijo el coautor del estudio, Shabnam Daghaghi, un graduado de Rice. “Utilizamos estas innovaciones para seguir desarrollando SLIDE, lo que demuestra que si no se centra en la multiplicación de matrices, puede aprovechar el poder de los procesadores modernos y entrenar modelos de IA de 4 a 15 veces más rápido que la mejor alternativa de hardware especializado”.

El coautor del estudio, Nicholas Meisburger, un estudiante universitario de Rice, dijo: “Los procesadores siguen siendo el hardware informático más utilizado. Los beneficios de hacerlos más atractivos para las cargas de trabajo de la IA no pueden subestimarse “.