La Inteligencia Artificial está demandando nuevo hardware más potente y específicamente diseñado para las cargas de trabajo y cálculos diferentes a las actuales, como son predicción, inferencia o intuición.
Para IBM, si vamos a hacer grandes avances en IA, nuestro hardware también debe cambiar. Comenzando con GPU, luego evolucionando a dispositivos analógicos, y después a computadoras cuánticas tolerantes a fallas.
El Deep Learning distribuido (DDL) ha progresado a un ritmo de aproximadamente 2.5 veces por año desde 2009, cuando las GPU pasaron de aceleradores gráficos de videojuegos a formadores modelo de aprendizaje profundo. Los algoritmos DDL se «entrenan» en los datos visuales y de audio, y la mayor cantidad de GPU debería significar un aprendizaje más rápido.
Hasta la fecha, la eficiencia de escala del 95 por ciento del establecimiento récord de IBM (es decir, una capacitación mejorada a medida que se agregan más GPU) puede reconocer el 33.8 por ciento de 7,5 millones de imágenes, usando 256 GPU en 64 sistemas de energía «Minsky».
¿Qué hardware necesitamos desarrollar para continuar este ritmo de progreso e ir más allá de la Inteligencia Artificial?
En IBM Research creen que esta transición de las GPU ocurrirá en tres etapas. Primero, utilizarán GPU y crearán nuevos aceleradores con CMOS convencional a corto plazo para continuar; segundo, buscarán formas de explotar dispositivos analógicos y de baja precisión para reducir aún más la potencia y mejorar el rendimiento; y luego cuando ingresemos en la era de la computación cuántica, ésta potencialmente ofrecerá enfoques completamente nuevos.
Los aceleradores en CMOS aún tienen mucho que lograr porque los modelos de aprendizaje automático pueden tolerar cálculos imprecisos. Es precisamente porque «aprenden» que estos modelos pueden funcionar a través de errores (errores que nunca toleraremos en una transacción bancaria). En 2015, Suyong Gupta, et al. han demostrado en su documento ICML Aprendizaje profundo con precisión numérica limitada que, de hecho, los modelos de precisión reducida tienen una precisión equivalente al estándar actual de 64 bits, pero usan tan solo 14 bits de precisión de coma flotante.
Vemos esta precisión reducida, una tendencia de computación más rápida que contribuye a la mejora de 2.5X por año, al menos hasta el año 2022.
Eso nos da unos cinco años para ir más allá del cuello de botella de von Neumann y para los dispositivos analógicos. Mover datos hacia y desde la memoria ralentiza la capacitación de la red de aprendizaje profundo. Entonces, encontrar dispositivos analógicos que puedan combinar memoria y computación será importante para el progreso de la computación neuromórfica .
Computación neuromórfica que imita las células cerebrales
Su arquitectura de «neuronas» interconectadas reemplaza el cuello de botella de von-Neumann con señales de baja potencia que van directamente entre las neuronas para una computación más eficiente. El Laboratorio de Investigación de la Fuerza Aérea de los EE. UU. está probando una matriz de 64 chips del sistema IBM TrueNorth Neurosynaptic diseñado para la inferencia profunda de redes neuronales y el descubrimiento de información. El sistema usa CMOS digital estándar pero solo consume 10 vatios de energía para alimentar sus 64 millones de neuronas y 16 mil millones de sinapsis.
Recientemente, científicos de IBM demostraron la computación en memoria con 1 millón de dispositivos para aplicaciones en IA, publicando sus resultados, detección de correlación temporal usando memoria de cambio de fase computacional, en Nature Communications, y también presentándola en la sesión IEDM Recuperación de detección comprimida usando memoria computacional . El Artículo puede consutarse aquí: NPJ
Fuente: IBM
