
Crédito: CC0 Public Domain
Capacitación de modelos de inteligencia artificial que sustentan los motores de búsqueda de Internet, empoderan a los asistentes inteligentes y permiten el uso de automóviles sin conductor, consumen megavatios de energía y generan emisiones de carbono alarmantes. Sin embargo, las nuevas formas de entrenar estos modelos han demostrado ser más ecológicas.
Los modelos de inteligencia artificial se utilizan cada vez más en el mundo actual. Muchos de ellos realizan tareas de procesamiento de lenguaje natural, como traducción de idiomas, predicción de texto y filtros de correo no deseado. También se utilizan para permitir que asistentes inteligentes como Siri y Alexa “hablen” con nosotros y operen automóviles sin conductor.
Pero para funcionar bien, estos modelos deben entrenarse en grandes conjuntos de datos en un proceso que implica realizar múltiples operaciones matemáticas para cada dato que se les entrega. Y los conjuntos de datos sobre los que están aprendiendo son cada vez más grandes: uno de los últimos modelos de procesamiento del lenguaje natural ha sido entrenado en un conjunto de datos de 40 mil millones de palabras.
Como resultado, la energía consumida por capacitación el proceso está creciendo rápidamente. La mayoría de los modelos de inteligencia artificial se entrenan en equipos especializados en grandes centros de datos. Según un artículo reciente de una revista Ciencias, la cantidad total de energía consumida por los centros de datos fue de aproximadamente el 1% consumo de energía global durante la última década, equivalente a aproximadamente 18 millones de hogares en los Estados Unidos. En 2019, un grupo de investigadores de la Universidad de Massachusetts estimó que se utilizó el entrenamiento de un modelo grande de IA en lenguaje natural el procesamiento puede generar aproximadamente la misma cantidad de CO2 las emisiones que habrían generado cinco coches a lo largo de su vida.
Preocupados por esto, los científicos de la Universidad de Cambridge decidieron investigar enfoques más eficientes desde el punto de vista energético para entrenar modelos de inteligencia artificial. Trabajando con colegas de la Universidad de Oxford, University College London y Avignon Université, investigaron el impacto ambiental de otra forma de capacitación, llamada aprendizaje federal, y descubrieron que tiene un impacto mucho más ecológico. En lugar de entrenar modelos en centros de datos, el aprendizaje federado implica modelos de entrenamiento en una gran cantidad de máquinas individuales. Los científicos han descubierto que esto puede conducir a menores emisiones de carbono que la ciencia tradicional.
El Dr. Nic Lane, profesor titular, explica cómo funciona cuando la formación no se lleva a cabo en grandes centros de datos, sino en más de miles. dispositivos móviles—Como los teléfonos inteligentes, donde los datos normalmente los recopilan los propios usuarios del teléfono.
“Un ejemplo de una aplicación que actualmente utiliza el aprendizaje federado es la predicción de la siguiente palabra en teléfonos móviles”, dice. “Cada teléfono inteligente enseña un modelo local para predecir qué palabra ingresará el usuario a continuación en función de sus mensajes de texto anteriores. Después del entrenamiento, estos modelos locales se cargan en el servidor. Allí, se agregan en un modelo final que luego se envía de vuelta a todos los usuarios ”.
Este método tiene importantes beneficios de privacidad, así como beneficios ambientales, enfatiza el Dr. Pedro Porto Buarque De Gusmao, un investigador postdoctoral que trabaja con el Dr. Lane.
“Es posible que los usuarios no quieran compartir su contenido con terceros”, explica. “Con el aprendizaje federado, podemos almacenar datos localmente y utilizar el poder colectivo de millones de dispositivos móviles para entrenar modelos de IA sin que los datos sin procesar del usuario salgan del teléfono”.
“Además de los beneficios de privacidad”, dice el Dr. Lane, “en nuestra investigación reciente hemos demostrado que el aprendizaje federado también puede tener un impacto positivo en la reducción de las emisiones de carbono.
“Aunque los teléfonos inteligentes tienen una potencia de procesamiento significativamente menor que los aceleradores de hardware utilizados en los centros de datos, no requieren tanta potencia de enfriamiento como los aceleradores. Este es el beneficio de difundir el entrenamiento de modelos en una amplia gama de dispositivos “.
Recientemente, los científicos fueron coautores de un artículo sobre “¿Puede el aprendizaje federado salvar el planeta?” y discutirá sus hallazgos en la conferencia científica internacional Flower Summit 2021 el 11 de mayo.
En su artículo, presentan el primer estudio sistemático de la huella de carbono del aprendizaje federado. Midieron la huella de carbono de la configuración de aprendizaje federado entrenando dos modelos, uno para la clasificación de imágenes y el otro para el reconocimiento de voz, utilizando un servidor y dos conjuntos de chips comunes en dispositivos simples a los que se dirigen los métodos de federación. Registraron el consumo de energía durante el entrenamiento y cómo puede variar según el lugar del mundo en el que se encuentren los chipsets y el servidor.
Descubrieron que aunque había una diferencia entre el CO2 factores de emisión específicos del país, el aprendizaje federado en muchos entornos de aplicaciones comunes fue confiablemente “más limpio” que el entrenamiento centralizado.
Al entrenar un modelo para clasificar imágenes en un gran conjunto de datos de imágenes, descubrieron que cada configuración de aprendizaje federado en Francia emite menos CO2 que cualquier configuración centralizada tanto en China como en los Estados Unidos. Al entrenar el modelo de reconocimiento de voz, el aprendizaje federado fue más efectivo que el entrenamiento centralizado en cualquier país.
Estos hallazgos están respaldados por un conjunto ampliado de experimentos en investigaciones posteriores (“Un primer vistazo a la huella de carbono del aprendizaje federativo”) en el mismo laboratorio, que está examinando una gama aún más amplia de conjuntos de datos y modelos de IA. La investigación también proporciona las bases para el formalismo necesario y los fundamentos algorítmicos de una huella de carbono aún menor para el aprendizaje federado en el futuro.
Basado en su investigación, los investigadores lanzaron la primera “Calculadora Federal de Carbono para el Aprendizaje” de su tipo para que el público y otros investigadores puedan estimar la cantidad de CO2 es fabricado por cualquier grupo de dispositivos. Permite a los usuarios detallar la cantidad y el tipo de dispositivos que están usando, en qué país se encuentran, qué conjuntos de datos y velocidades de carga / descarga usan, y cuántas veces cada dispositivo se entrenará con sus propios datos antes de enviarlos. Modelo para la agregación.
También ofrecen una calculadora similar para estimar su huella de carbono para el aprendizaje automático centralizado.
“El desarrollo y uso de la inteligencia artificial está desempeñando un papel cada vez más importante en la tragedia del cambio climático”, dice el Dr. Lane, “y el problema solo empeorará a medida que la tecnología se difunda por la sociedad. Necesitamos ocuparnos urgentemente de lo que es, por lo que nos complace compartir nuestros hallazgos que muestran que los métodos de aprendizaje federados pueden producir menos CO2 que los centros de datos en escenarios de aplicaciones importantes.
“Pero lo que es más importante, nuestra investigación también arroja luz sobre cómo el aprendizaje federal debería evolucionar hacia uno aún más respetuoso con el medio ambiente. Los métodos descentralizados como este serán la clave para inventar futuras formas sostenibles de IA en los próximos años ‘.
Entregado por
Universidad de Cambridge