Una fila de servidores dentro de un centro de datos. Los agentes de IA consumen más energía por tarea que los chatbots, y la mayoría de las facturas se pagan mientras el hardware espera.
getty
Una estadística realizada esta semana es que los agentes de IA queman 136,5 veces más electricidad que los chatbots. Proviene de un estudio real, números reales, y es casi lo más inútil en un artículo retractado. Cuanto más se comprenda lo que miden los investigadores, peor será el panorama para cualquiera que calcule un presupuesto para los próximos tres años.
Su trabajo surgió de KAIST, la principal escuela de ingeniería de Corea del Sur. El equipo, dirigido por Minsoo Rhu y Jiin Kim como primeros autores, midió el costo de energía del agente de IA contra consultas comunes de chatbot de un solo turno, y presentó los resultados en HPCA, una importante conferencia sobre arquitectura informática, en febrero. Figura del titular original. Al ejecutar el marco del agente Reflection en el modelo Llama de 70 mil millones de parámetros de Meta, una sola tarea consumió 348,41 vatios-hora, frente a 2,55 para una respuesta simple de chatbot. Ese es el 136,5x que todo el mundo cita.
Este también es el tope de gama, no el medio. Un marco de agente diferente, LATS, viene en 62 veces la base del mismo modelo. El multiplicador realiza un seguimiento de cuántas razones usted deja ir el sistema antes de que se detenga. Cambie el marco o el tamaño del modelo y el número de flujos será mayor que un factor de dos. Citar 136,5 veces el coste de la IA agente es como citar la factura de combustible del coche más sediento en el precio como el precio de conducir.
Parte que vale la pena leer dos veces
Suelte el número del título y el mecanismo a continuación será la historia real. Un chatbot responde a su pregunta, genera una respuesta y se detiene. Agente rotativo. Planifica, llama a la herramienta, espera a que regrese la API web o el código en ejecución, lee los resultados y planifica nuevamente. Cada vez se pasa por el modelo de costos de energía y se esperan más costos de los que la gente espera.
El equipo de KAIST descubrió que en tareas pesadas, las costosas GPU pueden estar inactivas hasta el 54,5% del tiempo, consumiendo energía mientras esperan que responda el chip externo. Ésa es la conclusión que debería preocuparle a un director financiero. La unidad de coste deja de ser una consulta y se convierte en una tarea cumplida, y gran parte de la factura se paga por no hacer más que mantener abierto el hardware. En los centros de datos donde los procesadores gráficos son la línea más cara, la mitad de utilización no es una nota al pie de página en eficiencia. Es una economía de producto.
Por eso no se aprovecha del todo el cuento de la eficiencia que suele garantizarlo todo. A medida que el modelo se vuelve más barato de ejecutar por token, ayuda a los chatbots en vivo. Es mucho mejor esperar a que el agente esté inactivo y pase a través del agente. El mismo artículo describe un marco de agente, en un modelo más pequeño de 8 mil millones de parámetros, que se ejecuta 153 veces más lento que la consulta básica. No puede optimizar su salida de la latencia que crea por diseño.
Los números no son predicciones
Luego están las figuras que viajan más lejos y las que menos lo merecen. El estudio proyecta que si el uso de agentes alcanza los 13.700 millones de solicitudes por día, el centro de datos requerirá aproximadamente 199 gigavatios, aproximadamente la mitad de la atracción promedio de todo Estados Unidos. Se ha difundido como una advertencia sobre hacia dónde se dirige la red.
No es un pronóstico. El autor tomó una pequeña muestra, el número de energía por tarea en sí y lo escaló al volumen de búsqueda diario actual de Google; se eligió un sustituto porque es un número redondo grande, no porque alguien esperara 13,7 mil millones de tareas de agente por día pronto. Es algo si está diseñado para mostrar la forma del riesgo, y el documento así lo dice. Tratarlo como una proyección de la demanda interpreta erróneamente la fuente.
El pronóstico original es más sobrio y, leído con atención, más difícil de descartar. Laboratorio Nacional Lawrence Berkeley sitúa el uso del centro de datos de EE. UU. en 176 teravatios-hora en 2023alrededor del 4,4% de la electricidad nacional, y se esboza un camino hasta el 12% para 2028. La Agencia Internacional de Energía espera que el consumo mundial de centros de datos aumente más del doble a 945 teravatios-hora para 2030. Ambos se basan en el creciente volumen de consultas. Ninguno de los dos precios es probable que la solicitud promedio en sí se vuelva un orden de magnitud más pesada a medida que la industria pasa de responder a actuar. Ésa es la brecha que revela el trabajo de KAIST, y se encuentra debajo de cada proyección oficial y no dentro de ninguna de ellas.
¿Qué se hace realmente con esto?
Traducción para empresas estrechas y especializadas. Si su hoja de ruta de IA es para los agentes de 2026, y muchas hojas de ruta de las empresas lo son hoy, entonces los presupuestos informáticos cuyo precio se valora en inferencia al estilo de un chatbot le están indicando cifras equivocadas. Los proveedores de equipos venden productos de agentes a un precio fijo por llamada, lo que conlleva el riesgo de que la figura de KAIST esté inactiva para concretar y que el riesgo sea bajo para sus márgenes o, eventualmente, para el suyo.
La adquisición de electricidad es un problema similar en una capa. Las empresas de servicios públicos y los hiperescaladores que proporcionan la próxima ola de capacidad trabajan a partir de una curva de demanda construida sobre el crecimiento de la demanda. El multiplicador de autonomía no está en su curva. En un mercado donde ha tardado años en garantizar la conexión a la red, subestimar la carga por tarea no es un error de redondeo, sino un riesgo de gasto de capital varado.
La propia conclusión de los autores es que un software más inteligente por sí solo no cerrará la brecha, y que los chips, centros de datos y modelos deben rediseñarse siguiendo el patrón de espera y bucle que imponen los agentes. Es un trabajo que lleva más de un cuarto o dos. Los movimientos a corto plazo para cualquiera que asigne capital son más aburridos y útiles. Pregúntele al vendedor qué completó el agente la tarea de cálculo de costos, no cuál es la consulta de costos, y pregúntele qué parte del costo la GPU está inactiva. La respuesta honesta no es 136,5 veces nada. Será peor, porque es específico de tu propia carga de trabajo y tendrás que pagar por ello cada vez.
