Cada iniciativa de la que he hablado ahora tiene la misma queja expresada en diferentes idiomas.
Su factura de IA está creciendo más rápido que cualquier presupuesto. Sus modelos de factura parecen razonables cuando se ven por sí solos.
Pero en algún punto entre las aprobaciones de las juntas directivas y los estados de cuenta mensuales en la nube, el dinero está desapareciendo de maneras que nadie puede explicar.
Cofundador y presidente de Kast AI.
He aquí un problema central que a la gente le cuesta entender: la parte más cara de la IA no siempre es el modelo en sí. Son la infraestructura, la orquestación, las retransmisiones, las GPU inactivas, las ventanas de contexto de gran tamaño y las decisiones de enrutamiento ineficientes lo que se sitúa entre el mensaje del usuario y la respuesta final.
Esto es lo que yo llamo el impuesto oculto sobre la adopción de la IA, y está creciendo más rápido de lo que la mayoría de las organizaciones creen.
Tres números que deberían cambiar tu forma de pensar
Recientemente, en FinOps X en San Diego, una proyección de Goldman Sachs ocupó un lugar central. El gasto actual en tokens empresariales asciende a alrededor de seis mil billones de tokens en todo el mundo. Proyección a tres años: 120 mil billones. Eso no es un error de redondeo… es una expansión 20x, y está llegando allí más rápido de lo que el marco de gobernanza puede manejar.
En la misma conferencia se lanzó nuestra Fundación Tokenomics (tengo la suerte de ser miembro de la junta directiva). Es una organización neutral respecto a los proveedores dentro de la Fundación Linux dedicada específicamente a la economía del consumo de tokens de IA.
La comunidad FinOps, profesionales que han pasado la mayor parte de una década construyendo la disciplina en torno al gasto en computación en la nube, reconocen que los tokens presentan un problema fundamentalmente diferente. La nube no es una versión dura de la optimización de costos. Uno diferente.
He aquí por qué. Cuando su organización ejecuta cargas de trabajo en la nube, los costos son relativamente obvios. Calculas la provisión, se ejecuta y te llega una factura. Se rastrea la relación entre acción y gasto. Con los tokens de IA, esa relación se divide en tres capas y la mayoría de las organizaciones solo tienen visibilidad de una.
Producción → Costo → Valor: tres niveles que la mayoría de los equipos ignoran
El primer nivel es la producción. Antes de que cualquier modelo de IA pueda responder a cualquier mensaje, su infraestructura debe generar tokens. Clústeres de GPU, nodos de inferencia, políticas de escalado automático, configuración de Kubernetes: estas son sus fábricas de tokens. Su habilidad, o la falta de ella, fija el precio base para todo lo que sigue. Un nodo GPU con una utilización del 30% es una fábrica costosa que funciona a un tercio de su capacidad.
El segundo nivel es el costo. Aquí es donde reside la economía contraintuitiva y es donde paso la mayor parte de mi tiempo pensando. Dos organizaciones pueden enviar mensajes idénticos a diferentes agentes de codificación e incurrir en costos radicalmente diferentes dependiendo de cómo manejan los supuestos de contexto, almacenamiento en caché, reintento, enrutamiento y soporte de infraestructura.
La longitud del mensaje, el uso de la ventana de contexto, las técnicas de almacenamiento en caché y las decisiones de enrutamiento del modelo se combinan. Dirigir una tarea a un modelo más económico siempre ahorra costos simbólicos, una suposición común que a menudo se confunde con lo suficientemente importante. Una decisión de enrutamiento que descarta un caché caliente puede considerar que un modelo “más barato” es más caro que la opción fronteriza que debía reemplazar. Este es el efecto de segundo orden. No aparecen en el panel estándar, pero sí en tu factura mensual.
El tercer nivel es el valor. Este es con el que los equipos FinOps se sienten cómodos y el que es menos importante hasta que tengas los dos primeros bajo control. Mapear el gasto simbólico con los resultados comerciales es una disciplina válida e importante. Pero no se puede gobernar a nivel de calidad sin insumos a nivel de producción y consumo. Estás haciendo cálculos con datos incompletos.
Por qué el 85% de su gasto en IA probablemente esté mal asignado
Aquí hay un patrón que veo constantemente. Las organizaciones consideran los modelos de IA de vanguardia como su infraestructura predeterminada, los modelos más capaces y rentables disponibles. Cada tarea va al mismo modelo. Cada mensaje se construye de la misma manera. No existe una lógica de enrutamiento, ni una jerarquía, ni una distinción arquitectónica entre el trabajo que realmente requiere todas las capacidades de un modelo de frontera y el trabajo que no las requiere.
Según mis observaciones en organizaciones que implementan IA a escala, aproximadamente el 15% de las tareas de desarrollo de software en realidad requieren capacidades de modelo de frontera. El 85% restante del trabajo rutinario de codificación, resumen, clasificación y recuperación se puede manejar mediante modelos más pequeños, más rápidos y menos costosos, si se cuenta con la infraestructura para tomar esas decisiones de manera inteligente y automática.
Desbloquear no es seleccionar buenos modelos manualmente. La selección manual del modelo no escala y degrada la experiencia del desarrollador cuando un desarrollador tiene que actuar rápidamente. Desbloquear es construir una infraestructura que tome decisiones de enrutamiento por usted: una que comprenda la tarea, la enrute al nivel de modelo apropiado, evalúe la calidad de los resultados y escale cuando sea necesario. Usted especifica los resultados que necesita. El sistema gestiona la economía para lograrlo.
Aquí es hacia donde se está moviendo la industria, y las empresas que desarrollen esta capacidad primero tendrán una ventaja de costos estructurales que se agravará con el tiempo.
El envío llega al final. Y te das cuenta de que algo anda terriblemente mal
Hay una frase que comencé a usar con los clientes que capta el problema central: la factura finalmente llega.
Cuando nos fijamos en la factura del proveedor modelo, hace semanas se tomaron decisiones de costos sobre la configuración de la infraestructura, la política de escalamiento automático y la arquitectura rápida que nadie ha revisado desde la implementación inicial.
La lógica de retransmisión se ejecuta silenciosamente cuando un servicio ascendente se ralentiza. Los nodos de GPU estaban reservados para los picos de tráfico que nunca llegaban. Flujos de trabajo agentes, donde una solicitud de un solo usuario desemboca en docenas de llamadas modelo, cada una facturada por separado, ninguna visible para la herramienta que creó la solicitud original.
Este modelo de costos no vive en consignación. Existen a nivel de infraestructura, a nivel de costos y en la brecha entre cómo los equipos operan sus sistemas de IA y cómo se comportan en producción. No puedes gestionar lo que no puedes ver. Y ahora mismo, la mayoría de los equipos están analizando un nivel de un problema de tres niveles.
Cuando la IA pasa de copiloto a colega, lo que está en juego aumenta
Se está produciendo un cambio que hace que todo esto sea aún más urgente. La mayoría de las implementaciones de IA empresarial en los últimos dos años han sido asistentes, herramientas que aceleran el trabajo personal mediante la gestión de los primeros borradores, las sugerencias posteriores y el texto estándar. Un hombre permanece al tanto de cada paso importante. La economía estaba limitada por la cantidad de personas que utilizaban herramientas y con qué frecuencia.
Los agentes autónomos cambian completamente el perfil económico. Cuando un sistema de IA puede lograr un objetivo, crear un plan, realizar tareas de varios pasos, evaluar sus propios resultados e iterar para completar cada paso sin intervención humana, ya no estará ejecutando un asistente. Estás ejecutando algo cerca de un par, que funciona continuamente, escala horizontalmente y genera consumo de tokens a un ritmo que la interacción personal del usuario nunca ha visto.
La transición de copiloto a colega ya se produjo. Y las implicaciones para la gobernanza son significativamente más graves. Un copiloto con una economía simbólica pobre cuesta algo por tus habilidades. Un agente autónomo con una economía de tokens débil impulsa esa ineficiencia a escala, sin crear la fricción natural y constante que podría hacer que un usuario humano haga una pausa o cambie de método. La disciplina de la infraestructura y la optimización de los tokens deben implementarse antes de que las cargas de trabajo autónomas escale, en lugar de reconfigurarlas después de que llegue la factura.
Pedidos para equipos de infraestructura
La respuesta correcta a este problema no es más paneles de control. Más visibilidad de un sistema que no puedes controlar significa más detalles; Viene con el mismo espaciado y no cambia nada sobre las decisiones ya tomadas anteriormente.
Lo que realmente necesitan los equipos de infraestructura son controles que operen al nivel donde se determinan los costos, no se informan. Esto significa gestión autónoma de GPU y cargas de trabajo de estimación, derecho continuo a satisfacer la demanda real en lugar de la estimación máxima, explotar los patrones de consumo explosivos que crean las tareas agentes y mover la potencia informática entre proveedores cuando un entorno se vuelve limitado.
Esto es especialmente importante ahora, porque la transición de copiloto a colega no te da un momento extra para recuperar la disciplina. Los agentes autónomos no se rompen. No se frustran y eligen un enfoque diferente. Escalan continuamente, impulsando las ineficiencias que usted les genera hasta que algo externo los detiene.
Entonces, el siguiente paso en la IA empresarial es determinar quién puede implementar el modelo de manera eficiente. A medida que los sistemas de IA se vuelven más autónomos y el uso de tokens se acelera, la ventaja competitiva proviene de comprender toda la economía de la IA, y no solo el valor de una llamada modelo.
Porque cuando llega el envío, ya se han tomado las decisiones para darle forma.
Utilice el mejor almacenamiento en la nube empresarial para administrar sus datos.
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
