top of page

Cómo correr DeepSeek-R1 localmente por solo U$S6.000: guía del hard y soft necesarios

Redacción IT NOW

Actualizado: hace 5 días

Un ingeniero explicó en redes cómo configurar un sistema capaz de ejecutar el modelo de inteligencia artificial chino sin depender de la nube. Desde el hardware hasta los ajustes de software, esta guía detalla los pasos clave para montar una infraestructura potente y optimizada para procesamiento en IA.



DeepSeek-R1, uno de los modelos de inteligencia artificial de código abierto más avanzados, puede ejecutarse localmente con la configuración de hardware y software adecuada.


Matthew Carrigan, ingeniero de la comunidad IA de Hugging Face, detalló en su cuenta de la red social X un paso a paso sobre cómo montar un sistema capaz de ejecutar este modelo sin depender de soluciones en la nube.


Para lograrlo, recomendó utilizar una placa base Gigabyte MZ73-LM0 o MZ73-LM1, que permite el uso de dos procesadores AMD EPYC de las series 9004 o 9005. Según el experto, el rendimiento de los modelos de lenguaje suele estar limitado por el ancho de banda de la memoria, por lo que no es necesario optar por los procesadores más potentes. Modelos como los EPYC 9115 o 9015 son opciones viables y eficientes.


Para asegurar un desempeño óptimo, es fundamental contar con 768 GB de RAM distribuidos en 24 módulos de 32 GB DDR5-RDIMM, permitiendo así cargar el modelo completamente en memoria sin afectar la velocidad de procesamiento.



El montaje del sistema requiere una torre compatible con placas base de servidor, como la Enthoo Pro 2 Server. La fuente de alimentación recomendada por Carrigan es la Corsair HX1000i, ya que proporciona la energía suficiente para las dos CPUs EPYC. Dado que la refrigeración es un aspecto clave en esta configuración, el ingeniero sugiere buscar disipadores adecuados en mercados secundarios, como eBay, y, si es necesario, complementarlos con ventiladores más silenciosos.


Para el almacenamiento, cualquier SSD NVMe de 1 TB o más es suficiente, ya que el modelo ocupa aproximadamente 700 GB. Una vez montado el hardware, el siguiente paso es instalar una distribución de Linux y realizar ajustes en la BIOS para optimizar el rendimiento. Carrigan recomienda configurar el número de grupos NUMA en 0, lo que permite distribuir cada capa del modelo de manera eficiente en los módulos de RAM.


En cuanto al software, es necesario instalar llama.cpp siguiendo las instrucciones del repositorio oficial y luego descargar el modelo DeepSeek-R1 en formato Q8_0 desde Hugging Face. Con la configuración descrita, el sistema es capaz de generar entre 6 y 8 tokens por segundo, dependiendo de la velocidad de la memoria RAM y la potencia del procesador.


Si bien se podría utilizar una GPU para acelerar el procesamiento, Carrigan advierte que esto implicaría una reducción en la calidad del modelo debido a la cuantización o requeriría más de 700 GB de memoria gráfica, lo que resulta inviable para la mayoría de los usuarios.


Esta configuración representa una alternativa viable para investigadores, desarrolladores y entusiastas de la inteligencia artificial que buscan autonomía en sus proyectos y un mayor control sobre su infraestructura computacional.







Komentáře


itnow-03.png

© Derechos reservados

Connecta B2B - 2025

Políticas de privacidad

ACERCA DE NOSOTROS

IT NOW es un espacio multiplataforma y un núcleo para conectar negocios que se compone de varios elementos: su sitio web con noticias de TI relevantes en la región, un newsletter semanal, su multiplataforma de redes sociales, por último, sus eventos enfocados en las verticales de TI y en donde destaca el aclamado Tech Day, la gira de actualización tecnológica más importante de la región.

24 / 7 Actualizaciones en nuestras Redes Sociales
  • Facebook
  • Instagram
  • LinkedIn
  • YouTube
  • X
  • RSS
bottom of page