La empresa reveló el GH200, con una capacidad de memoria mejorada y un procesador ARM, intensificando la competencia en el ámbito del hardware de IA.
Nvidia ha anunciado una adición a su cartera con el chip GH200, que muestra una GPU similar al chip insignia de IA existente de la compañía, el H100, pero lo mejora con 141 gigabytes de memoria y un procesador central ARM de 72 núcleos, lo que marca una notable mejora en las capacidades de procesamiento.
Se espera que el chip GH200 llegue al mercado en el segundo trimestre del próximo año y se prevé que esté disponible para muestras para finales de este año. Sin embargo, Nvidia se ha abstenido de divulgar el precio del chip en esta etapa.
Durante una charla en una conferencia, el CEO de Nvidia, Jensen Huang, enfatizó: "Estamos potenciando este procesador. Este procesador está diseñado para la expansión de los centros de datos del mundo". La intención estratégica detrás de este chip radica en atender las necesidades en evolución de los amplios centros de datos que sirven como base para el panorama digital.
Vea también: Nvidia se disparó hacia una capitalización billonaria gracias a la IA y agitó el mercado de chips
En el ámbito de los modelos de IA, el flujo de trabajo suele dividirse en dos fases clave: entrenamiento e inferencia. Inicialmente, los modelos se someten a un entrenamiento extenso utilizando cantidades copiosas de datos, un proceso que a menudo abarca meses y requiere una potencia considerable de GPU. Una vez entrenados, estos modelos pasan a la fase de inferencia, donde hacen predicciones o generan contenido. Esto también requiere recursos computacionales sustanciales.
Huang explicó el impacto del chip en la inferencia, afirmando: "Puedes tomar prácticamente cualquier modelo de lenguaje grande que desees y ponerlo en esto, e inferirá como loco. El costo de inferencia de los modelos de lenguaje grandes disminuirá significativamente".
El chip GH200 está diseñado específicamente para tareas de inferencia, ofreciendo una mayor capacidad de memoria. Ian Buck, Vicepresidente de Nvidia, destacó durante una llamada con analistas y reporteros que la mayor capacidad de memoria del GH200, 141GB en comparación con los 80GB del H100, permite la acomodación de modelos de IA más grandes en un solo sistema. Nvidia también ha presentado un sistema de doble chip GH200 diseñado para alojar modelos aún más sustanciales, reafirmando su compromiso con la eficiencia y la escalabilidad.
Este anuncio coincide con la reciente presentación de AMD de su MI300X, un chip orientado a la IA capaz de admitir 192GB de memoria y comercializado por su destreza en la inferencia de IA. Cabe destacar que actores como Google y Amazon también están configurando activamente el panorama con sus propios chips de IA personalizados diseñados para tareas de inferencia.
Con un dominio en el segmento de chips de IA, donde tiene más del 80% de la cuota de mercado, Nvidia ha sido durante mucho tiempo una fuerza dominante. Su experiencia se centra en las unidades de procesamiento de gráficos (GPUs), que han ganado prominencia como el hardware preferido para impulsar modelos de IA grandes que sustentan software de IA generativa, como Bard de Google y ChatGPT de OpenAI.
Sin embargo, la escasez de GPUs de Nvidia ha surgido debido a la creciente demanda de gigantes tecnológicos, proveedores de la nube y startups, todos compitiendo por aprovechar la capacidad de GPU para el desarrollo de sus propios modelos de IA exclusivos.