La IA ha iniciado una carrera para construir infraestructuras más poderosas, con las GPU, las redes y la demanda de energía dominando los titulares.
Pero detrás de escena, otra parte del conjunto de tecnologías está experimentando una transformación igualmente significativa: el almacenamiento.
A medida que los modelos de IA crecen y las empresas retienen más datos para capacitación, inferencia y recuperación, el almacenamiento ya no es el lugar donde reside la información.
Último vídeo deTecnologíaRadar
Se ha convertido en una parte activa de la infraestructura de IA, que computa de manera eficiente, admite grandes conjuntos de datos y ayuda a las organizaciones a equilibrar el rendimiento con el costo.
Vicepresidente sénior, negocio de almacenamiento en la nube, Seagate.
El cambio ha cambiado fundamentalmente la apariencia del almacenamiento primario en los entornos de nube modernos.
Históricamente, el almacenamiento primario se refería a bloques estrechamente acoplados o sistemas de archivos cercanos a la computación.
Los proveedores de nube a hiperescala de hoy han adoptado un enfoque diferente, tratando el almacenamiento de objetos como un sistema de registro persistente, mientras que el software coordina cómo se almacenan, protegen y acceden a los datos a través de la infraestructura distribuida.
El paso a la computación en la nube
El paso a la computación en la nube no sólo ha aumentado la cantidad de recursos de almacenamiento necesarios. Esto cambió fundamentalmente cómo funcionaría el almacenamiento.
El almacenamiento empresarial tradicional se creó en torno a sistemas estrechamente acoplados donde las aplicaciones interactuaban directamente con el sistema de archivos. Ese modelo funcionó bien cuando la infraestructura era relativamente inclusiva. Sin embargo, a hiperescala, coordinar millones o miles de millones de archivos en un entorno distribuido introduce una complejidad que limita la escalabilidad.
Los proveedores de la nube respondieron rediseñando el almacenamiento en torno a arquitecturas definidas por software que separan cómo se gestionan los datos de cómo se almacenan físicamente. En lugar de tratar los dispositivos de almacenamiento como recursos discretos, las plataformas modernas en la nube organizan flotas enteras de almacenamiento a través de software, lo que les permite trascender los límites de la arquitectura empresarial tradicional.
La IA no ha hecho más que acelerar este cambio. Entrenar modelos grandes, realizar predicciones y mantener conjuntos de datos cada vez mayores imponen demandas sostenidas en la infraestructura compartida, lo que hace que el almacenamiento definido por software sea más importante que nunca.
Aunque cada plataforma de hiperescala ha evolucionado de manera diferente, los mismos conceptos arquitectónicos aparecen una y otra vez. En particular, cuatro principios se han vuelto fundamentales para respaldar la IA a escala.
1. El almacenamiento de objetos está diseñado en torno al movimiento secuencial de datos.
Los sistemas tradicionales de almacenamiento en la nube a menudo cambian los archivos en el lugar. A hiperescala, resulta cada vez más difícil gestionar actualizaciones continuas de datos en un entorno distribuido.
El almacenamiento de objetos adopta un enfoque diferente. En lugar de sobrescribir los datos existentes, las nuevas versiones normalmente se escriben como objetos separados. Naturalmente, esto favorece grandes flujos de datos secuenciales, lo que permite que los sistemas de almacenamiento funcionen de manera más eficiente a medida que los conjuntos de datos continúan creciendo.
A medida que las cargas de trabajo de IA producen conjuntos de datos más grandes, puntos de control frecuentes y movimiento continuo de datos, diseñar el almacenamiento en torno al rendimiento secuencial se vuelve cada vez más importante.
A medida que las organizaciones almacenan miles de millones o incluso billones de objetos, rastrear dónde está cada cosa se vuelve tan importante como almacenar los datos.
En lugar de pedir a los dispositivos de almacenamiento que gestionen tanto los datos como los metadatos, las plataformas en la nube separan cada vez más estas responsabilidades. Las capas de software dedicadas gestionan la ubicación de los objetos, los espacios de nombres y la coordinación del sistema, mientras que los medios de almacenamiento se centran en proporcionar capacidades escalables.
Separar estas funciones hace que la infraestructura sea más fácil de escalar y permite que los sistemas de almacenamiento se centren en lo que mejor saben hacer: almacenar de forma eficiente grandes cantidades de datos.
3. La resiliencia proviene de la arquitectura, no de los dispositivos individuales
Los proveedores de la nube anticipan que se producirán fallas en algún lugar de miles de servidores y dispositivos de almacenamiento. En lugar de depender de hardware individual para manejar cada error, las arquitecturas modernas distribuyen datos de manera inteligente entre grandes grupos de almacenamiento.
Técnicas como la codificación de borrado permiten que las plataformas recuperen datos de manera eficiente mientras mantienen la disponibilidad y reducen la sobrecarga asociada con las técnicas de replicación tradicionales.
El resultado es una infraestructura que sigue siendo resiliente incluso cuando las cargas de trabajo de IA crecen en tamaño y complejidad.
4. La puesta en escena inteligente de datos protege el rendimiento
La IA rara vez crea cargas de trabajo de almacenamiento fluidas y predecibles. Los trabajos de capacitación, las solicitudes de estimaciones y el tráfico de aplicaciones a menudo llegan en ráfagas, lo que ejerce una presión repentina sobre la infraestructura.
En lugar de escribir cada solicitud directamente en la capacidad de almacenamiento, las plataformas en la nube utilizan cada vez más flash y memoria como capa intermedia. Absorben el tráfico entrante antes de organizar los datos en escrituras más grandes y eficientes.
Esto permite a las organizaciones mantener aplicaciones receptivas y hacer un mejor uso del almacenamiento de alta capacidad a medida que las cargas de trabajo de IA se vuelven cada vez más exigentes.
El software se ha convertido en la capa definitoria
En conjunto, estos cuatro principios apuntan a un cambio más amplio en la industria. El rendimiento del almacenamiento ya no está determinado únicamente por el hardware rápido. Cada vez más, es el software el que determina la eficiencia con la que la infraestructura organiza el movimiento de datos, coordina los metadatos y equilibra las cargas de trabajo entre los sistemas distribuidos.
Esa evolución cambió fundamentalmente el papel del almacenamiento primario. En lugar de servir aplicaciones o servidores individuales, el almacenamiento sustenta cada vez más plataformas de objetos compartidos que admiten simultáneamente análisis, servicios en la nube y cargas de trabajo de IA.
En otras palabras, el almacenamiento primario ya no se define como el lugar donde residen los datos. Se define por la forma en que el software permite que los datos se muevan, escalen y estén disponibles de manera eficiente en una infraestructura distribuida.
Una nueva definición de almacenamiento primario
El auge de la IA ha acelerado los cambios que los proveedores de la nube han estado realizando durante años. El almacenamiento primario ya no se define por la proximidad al hardware informático o de almacenamiento. Cada vez más, se gestiona mediante software, se distribuye globalmente y está diseñado para equilibrar el rendimiento, la resiliencia y la economía.
Para las organizaciones que invierten en IA, las decisiones de almacenamiento ya no pueden centrarse únicamente en la capacidad o la latencia. Comprender cómo funcionan juntos el software, el movimiento de datos y los medios de almacenamiento se ha vuelto igualmente importante.
Las empresas que tengan éxito no serán necesariamente las que más implementen hardware. Estos serán aquellos que construyan arquitecturas de almacenamiento que sean capaces de alimentar de manera eficiente las cargas de trabajo de IA y al mismo tiempo mantener la infraestructura escalable, resiliente y económicamente sostenible.
En los entornos de nube modernos, el almacenamiento primario ya no son solo datos. Resulta ser una tecnología que determina la eficacia con la que la IA puede escalar.
Hemos revisado, calificado y clasificado el mejor almacenamiento en la nube empresarial..
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
