- Skymizer afirma que los modelos gigantes de IA ya no necesitan una infraestructura de GPU a hiperescala
- Los chips más antiguos de 28 nm de repente impulsan modelos de lenguaje masivos con una potencia sorprendentemente baja
- El HTX301 incluye 384 GB de memoria en una única tarjeta aceleradora PCIe
Una empresa taiwanesa llamada Skymizer ha presentado un acelerador PCIe AI que desafía tanto a AMD como a Nvidia utilizando tecnología sorprendentemente antigua.
La tarjeta HTX301 puede ejecutar modelos de idiomas con 700 mil millones de parámetros en un solo dispositivo utilizando solo 240 vatios de potencia.
La tarjeta logra esta hazaña utilizando chips más antiguos de 28 nanómetros y memoria LPDDR4 y LPDDR5 estándar en lugar de costosas soluciones HBM o GDDR.
Los chips de tecnología antigua compiten con los aceleradores de IA modernos
Skymizer afirma que su tarjeta emite 30 tokens por segundo con sólo 0,5 TOPS y 100 GB por segundo de ancho de banda.
El HTX301 está construido sobre la plataforma HyperThought de Skymizer, que cuenta con LPU IP de próxima generación diseñada específicamente para cargas de trabajo de modelos de lenguaje grandes.
Cada tarjeta PCIe tiene seis chips HTX301 trabajando juntos y la tarjeta ofrece hasta 384 GB de capacidad de memoria total.
El diseño utiliza técnicas de compresión eficientes tanto para pesos como para cachés KV, superando al llama.cpp de código abierto entre un 9 y un 17,8 por ciento.
Los aceleradores PCIe AI líderes de AMD y NVIDIA consumen menos de la mitad de la energía que normalmente se requiere.
La tarjeta admite IA agente para codificación, automatización y flujos de trabajo de dominios específicos sin la necesidad de clústeres de GPU a gran escala.
La ejecución de grandes modelos de lenguaje en la nube genera preocupaciones de privacidad y costos inesperados que muchas organizaciones consideran inaceptables.
Actualizar la infraestructura local para admitir plataformas masivas de aceleradores de GPU a menudo requiere un costoso rediseño de los sistemas de energía y refrigeración del centro de datos.
El HTX301 de Skymizer ofrece a las empresas una tercera opción que se adapta a servidores estándar refrigerados por aire sin modificaciones de infraestructura.
La compañía afirma que se necesitan clústeres de GPU a hiperescala para los LLM ultragrandes. Terminado con su nueva tecnología.
El factor de forma de la tarjeta PCIe permite a las empresas escalar los supuestos de IA en sus instalaciones mientras mantienen la soberanía de los datos y los costos de infraestructura predecibles.
Skymizer HTX301 espera pruebas en el mundo real
Skymizer presentará una vista previa del HTX301 en Computex este año, lo que permitirá una verificación independiente de sus cifras de rendimiento.
Las especificaciones de este chip parecen impresionantes sobre el papel, pero las pruebas en el mundo real determinarán si la tarjeta realmente entrega 240 tokens por segundo bajo la carga de trabajo Llama2 7B.
AMD lanzó recientemente su tarjeta PCIe Instinct MI350P con 144 GB de memoria HBM3E y 4600 TFLOPS máximos con precisión MXFP4, pero consume considerablemente más energía que la oferta de Skymizer.
La RTX Pro 6000 Blackwell de Nvidia utiliza aproximadamente 600 vatios, más del doble de lo que necesita la tarjeta SkyMizer para tareas hipotéticas comparables.
Si el HTX301 funciona como se anuncia, podría reducir drásticamente la barrera de entrada para la infraestructura de IA local.
El incumplimiento colocará a Skymizer entre las muchas nuevas empresas que no han cumplido sus promesas.
Vía Wccftech
Siga TechRadar en Google News Y Agréganos como fuente preferida Recibe noticias, reseñas y opiniones de nuestros expertos en tu feed.
