Alcanzar el futuro de la Inteligencia Artificial requerirá una gran expansión de la escala de cálculos, lo que implica memoria y hardware. El equipo de IBM Research AI ha demostrado la formación de redes neuronales profundas (DNN) con grandes matrices de dispositivos de memoria analógica con la misma precisión que un sistema basado en la Unidad de Procesamiento Gráfco (GPU). Este es un paso importante en el camino hacia el tipo de aceleradores de hardware necesarios para los próximos avances de la IA.
Stefano Ambrogio, de IBM, describe en entorno en el que la Inteligencia Artificial (AI) personalizada trabajará: su smartphone se convierte más en un asistente inteligente, reconociendo su voz incluso en una habitación ruidosa, comprendiendo el contexto de diferentes situaciones sociales o presentando solo la información que es realmente relevante para usted, arrancada de la inundación de datos que llega todos los días. Dichas capacidades podrían estar pronto a nuestro alcance —explica Ambrogio— pero para llegar allí se necesitarán aceleradores de hardware de IA rápidos, potentes y energéticamente eficientes.
Los DNN deben hacerse más grandes y más rápidos, tanto en la nube como en el otro extremo, y esto significa que la eficiencia energética debe mejorar de manera espectacular.
Aunque mejores GPU u otros aceleradores digitales pueden ayudar hasta cierto punto, dichos sistemas inevitablemente pasan mucho tiempo y energía moviendo datos de la memoria al procesamiento y viceversa. Se puede mejorar tanto la velocidad como la eficiencia energética al realizar cálculos AI en el dominio analógico con la ubicación exacta de los datos, pero esto solo tiene sentido si las redes neuronales resultantes son tan inteligentes como las implementadas con hardware digital convencional.
Técnicas Analógicas al servicio de la Inteligencia Artificial
Las técnicas analógicas, que involucran señales continuamente variables en lugar de binarias 0s y 1s, tienen límites inherentes a su precisión, razón por la cual las computadoras modernas generalmente son computadoras digitales. Sin embargo, los investigadores de IA han empezado a darse cuenta de que sus modelos DNN todavía funcionan bien incluso cuando la precisión digital se reduce a niveles que serían demasiado bajos para casi cualquier otra aplicación informática. Por lo tanto, para los DNN, es posible que tal vez el cálculo analógico también funcione.
Sin embargo, hasta ahora, nadie había probado de forma concluyente que tales enfoques analógicos pudieran hacer el mismo trabajo que el software actual que se ejecuta en hardware digital convencional.
Es decir, ¿pueden los DNN realmente capacitarse para una precisión equivalente con estas técnicas?
No tiene mucho sentido ser más rápido o más eficiente en el uso de energía en el entrenamiento de un DNN si las precisiones de clasificación resultantes serán siempre inaceptablemente bajas.
Acelerando algoritmos con memoria analógica
En su artículo, IBM describe cómo las memorias analógicas no volátiles (NVM) pueden acelerar de manera eficiente el algoritmo de «retropropagación» en el corazón de muchos avances recientes de AI. Estas memorias permiten que las operaciones de «acumulación múltiple» utilizadas a lo largo de estos algoritmos se paralelicen en el dominio analógico, en la ubicación de los datos de ponderación, utilizando la física subyacente. En lugar de circuitos grandes para multiplicar y agregar números digitales juntos, simplemente pasan una pequeña corriente a través de una resistencia en un cable, y luego conectan muchos de esos cables para permitir que las corrientes se acumulen. Esto permite realizar muchos cálculos al mismo tiempo, en lugar de uno después del otro. Y en lugar de enviar datos digitales en viajes largos entre chips de memoria digital y chips de procesamiento, pueden realizar todos los cálculos dentro del chip de memoria analógica.
Sin embargo, debido a varias imperfecciones inherentes a los dispositivos de memoria analógicos actuales, las demostraciones previas de entrenamiento DNN realizadas directamente en grandes matrices de dispositivos NVM reales no lograron precisiones de clasificación que coincidieran con las de las redes capacitadas por software.
Al combinar el almacenamiento a largo plazo en dispositivos de memoria de cambio de fase (PCM), la actualización casi lineal de condensadores de semiconductores de óxido de metal (CMOS) convencionales y las técnicas novedosas para cancelar la variabilidad de dispositivo a dispositivo, resolvieron estas imperfecciones y precisión de DNN equivalente a software en una variedad de redes diferentes.
Estos experimentos utilizaron un enfoque mixto de hardware y software, combinando simulaciones de software de elementos del sistema que son fáciles de modelar con precisión (como dispositivos CMOS) junto con la implementación completa del hardware de los dispositivos PCM.
Era esencial utilizar dispositivos reales de memoria analógica para cada peso en las redes neuronales, porque los enfoques de modelado para tales dispositivos novedosos con frecuencia no logran capturar el rango completo de la variabilidad de dispositivo a dispositivo que pueden exhibir.
Usando este enfoque, verificaron que los chips completos deberían ofrecer una precisión equivalente y, por lo tanto, hacer el mismo trabajo que un acelerador digital, pero más rápido y con menor potencia. Teniendo en cuenta estos resultados alentadores, ya han comenzado a explorar el diseño de prototipos de chips de acelerador de hardware, como parte de un proyecto del Instituto IBM Research Frontiers
El artículo completo fue publicado en la revista Nature.
