IDC proyecta que el gasto en infraestructura de IA en las empresas Global 1000 será un 30% mayor que los presupuestos actuales para 2027. Esta brecha muestra un desajuste entre cómo se comporta la IA en las cargas de trabajo de producción y cómo las empresas han planificado históricamente las capacidades de TI.
Director de Innovación de Aerospike.
El patrón se repite en toda la industria. Un proyecto piloto valida un modelo de IA en un conjunto de datos controlado y los presupuestos se elaboran en torno a esa economía. Cuando el sistema entra en producción, la factura a menudo supera a quien lo modeló originalmente.
La culpa es del tamaño del modelo de instinto natural o del costo de usar tokens, pero el dinero no se gasta ahí. Los costos están a nivel de datos y dependen de la frecuencia con la que lee el sistema, de cuántos servicios toca y de la continuidad con la que se ejecutan esas operaciones.
Lo que los pilotos no te muestran
Un piloto implementó una aplicación web en un conjunto de datos limitado, con un puñado de usuarios simultáneos, con una cadencia de solicitud-respuesta familiar para cualquiera. La producción no muestra mucho.
Considere un agente de atención al cliente de IA generativa en producción. Un modelo de aviso de usuario único puede desencadenar búsquedas simultáneas en la actividad de la sesión, registros de CRM, sistemas de inventario, manuales recuperados y otras fuentes antes de generar una respuesta. Todo esto ocurre con un presupuesto de latencia inferior a 100 ms, y el resto son las búsquedas más lentas. El problema operativo se convierte en latencia LEL en búsquedas paralelas muy pequeñas.
Ahora el flujo de trabajo agente de la capa anterior. Una solicitud de usuario se convierte en un plan, luego una serie de pasos en los que cada uno emite su propia búsqueda, escribe el estado intermedio y lo vuelve a leer. Lo que comienza como una suposición se expande a decenas o cientos de accesos a datos, sesiones y estados de memoria en todo el arco del sistema. El perfil de costos que surge no se parece en nada al costo del piloto.
De ahí viene el 30%.
Los excesos provienen de múltiples decisiones defensivas tomadas en condiciones de incertidumbre. Cuando los equipos no pueden ver cómo fluyen los datos a través de una sola solicitud, toman medidas adicionales para absorber los picos. Cuando no pueden predecir el comportamiento de la caché en contextos cambiantes, replican datos en todos los sistemas para reducir el riesgo de dependencia.
Cuando un servicio descendente se ralentiza, colocan otro servicio ascendente para aislarlo. Cada elección es localmente razonable. En general, es un sistema que cuesta un 30% más que la carga de trabajo y eso es antes de que alguien agregue un nuevo caso de uso.
Los problemas subyacentes suelen ser los mismos. La distribución por solicitud no está medida de un extremo a otro. El contexto se divide entre almacenes de funciones, almacenes de sesiones, sistemas de perfiles de usuario, índices vectoriales y API de terceros. La caché KV y la reutilización de prefijos se dejan en la mesa porque la capa de inferencia no puede retener ni compartir el estado entre llamadas.
Las decisiones de replicación y niveles se toman por sistema y no por patrón de acceso. Ninguno de estos aparece en el piloto. Muéstrales todas las facturas de producción.
¿Qué ofrecer con los datos de IA?
La IA en producción es un sistema persistente y distribuido cuyo camino activo es el ensamblaje de contexto (muchas lecturas pequeñas por solicitud con presupuestos de latencia ajustados) combinado con escrituras que deben mantener consistentes múltiples representaciones de la misma entidad.
Estos sistemas requieren dos cosas al mismo tiempo: lecturas simultáneas predecibles, de baja latencia y alta, y escrituras consistentes en la ruta de datos. La subestructura debe tener el tamaño y la forma correspondientes.
Algunas decisiones arquitectónicas impulsan la mayoría de los resultados:
Haga coincidir la capa de datos con el patrón de acceso El estado de la sesión, la memoria del agente, la búsqueda de funciones, el contexto recuperado y la reutilización de la caché KV tienen diferentes patrones de lectura, requisitos de actualización y requisitos de durabilidad.
Tratarlas como capas de datos diferentes (o mantenerlas en cualquier base de datos que esté en la pila) es la fuente más común de desbordamientos. Los almacenes de sesiones y los sistemas de registro tienen diferentes demandas de patrones de acceso desde la misma capa de datos.
Ingeniero para distribución en abanico y latencia de cola predecible El rendimiento es la métrica principal incorrecta para una capa de datos de IA. La correcta es predecir muchas lecturas pequeñas provocadas por una solicitud. Un lote de búsquedas paralelas es tan rápido como su miembro más lento, y una única búsqueda lenta bloquea todo el paso de recopilación de contexto.
Los sistemas de almacenamiento optimizados para el rendimiento de escritura imponen una penalización de amplificación de lectura bajo este patrón de acceso. Los sistemas que mantienen el índice inicial en la memoria y resuelven búsquedas de puntos en una única E/S se comportan de manera diferente en las colas.
Considere la coherencia en la escritura como un requisito para la precisión. Cuando las actualizaciones entre perfiles de usuario, incrustaciones, vectores de características y estado de sesión no están sincronizadas, el contexto posterior lee una combinación de versiones de ensamblaje y el modelo produce resultados confiables basados en datos contradictorios.
Estas son alucinaciones que no tienen nada que ver con el muestreo o las probabilidades del modelo, y no producen mejores indicaciones ni modelos más grandes.
Considere la reutilización de datos en tiempo de inferencia como infraestructura. La reutilización de la caché KV, el intercambio de tokens y la persistencia de la memoria del agente son preocupaciones de infraestructura de primera clase. Los equipos que lo descubren temprano ejecutan las mismas cargas de trabajo con menos uso de GPU que los equipos que no lo hacen. Este es el mayor punto de apalancamiento que no aparece en la mayoría de los modelos de costos de IA.
por donde empezar
El primer paso más útil es medir una única solicitud de producción de extremo a extremo: contando las búsquedas, el origen de registro y la latencia final. Esa práctica revela más que cualquier revisión arquitectónica. Una vez que los equipos pueden ver cómo se mueven los datos a través de una interacción, pueden categorizar el acceso a los datos por nivel y verificar que cada uno se esté ejecutando en la infraestructura adecuada para su patrón.
A partir de ahí, la siguiente pregunta es qué se está recalculando y qué se puede reutilizar, especialmente en las llamadas de conjetura y los pasos de agencia. El despliegue por interacción debe ser una métrica que el equipo monitoree la latencia de p99 lo más de cerca posible, porque a escala, impulsa directamente el costo.
El consumo de IA en la fabricación es una disciplina de diseño. Los equipos que lo abordan temprano tienen mucho más control sobre el desempeño y el gasto que los equipos que esperan hasta que el proyecto de ley fuerce el problema. En muchos casos, la brecha del 30% es el costo de aprender estas lecciones demasiado tarde.
Hemos presentado las mejores herramientas de IA.
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
