Akamai potencia la inferencia distribuida de la IA con AI Grid Intelligent Orchestration
Akamai Technologies ha presentando la primera implementación global del diseño de NVIDIA AI Grid. Mediante la integración de la infraestructura de IA de NVIDIA en la infraestructura de Akamai y el aprovechamiento de la orquestación inteligente de cargas de trabajo en toda su red, Akamai pretende llevar al sector más allá de las fábricas de IA aisladas hacia una red unificada y distribuida para la inferencia de IA.
Esta medida supone un paso significativo en la evolución de Akamai Inference Cloud, presentada a finales del año pasado. Como primera empresa en poner en funcionamiento la red AI Grid, Akamai está implementando miles de GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, lo que proporciona una plataforma que permite a las empresas ejecutar IA física y agencial con la capacidad de respuesta de la computación local y la escala de la web global.
La arquitectura de «tokenómica»
En el corazón de AI Grid se encuentra un coordinador inteligente que actúa como intermediario en tiempo real para las solicitudes de IA. Aplicando la experiencia de Akamai en la optimización del rendimiento de las aplicaciones a la IA, este plano de control sensible a la carga de trabajo optimiza la «tokenómica» mejorando radicalmente el coste por token, el tiempo hasta el primer token y el rendimiento.
Una de las principales características diferenciadoras de Akamai es la capacidad de los clientes para acceder a modelos ajustados o dispersos a través de su enorme presencia global, lo que ofrece una ventaja enorme en cuanto a costes y rendimiento para la long tail de cargas de trabajo de IA. Por ejemplo:
- Rentabilidad a gran escala: las empresas pueden reducir drásticamente los costes de inferencia al asignar automáticamente las cargas de trabajo al nivel de computación adecuado. El coordinador aplica técnicas como el almacenamiento en caché semántico y el enrutamiento inteligente para dirigir las solicitudes a los recursos del tamaño adecuado, reservando los ciclos de GPU premium para las cargas de trabajo que los requieren.
- Capacidad de respuesta en tiempo real: los estudios de videojuegos pueden ofrecer interacciones con personajes no jugador impulsadas por IA que mantienen la inmersión del jugador en milisegundos. Las instituciones financieras pueden ejecutar recomendaciones personalizadas de detección de fraudes y marketing en el momento entre el inicio de sesión y la primera pantalla.
- IA de nivel de producción en el núcleo ‘core’: los clústeres de miles de GPU de Akamai, impulsados por las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, proporcionan la potencia concentrada para las cargas de trabajo de IA más pesadas, complementando el edge distribuido con una escala centralizada.
Impulsando la próxima ola de IA en tiempo real
Por otro lado, Akamai ya está observando una fuerte adopción temprana de Akamai Inference Cloud en sectores que requieren un uso intensivo de recursos informáticos y son sensibles a la latencia:
- Gaming: los estudios están implementando inferencias de menos de 50 milisegundos para los NPC impulsados por IA y las interacciones en tiempo real de los jugadores.
- Servicios financieros: los bancos confían en la red para realizar un marketing hiperpersonalizado y ofrecer recomendaciones rápidas en los momentos críticos en los que los clientes inician sesión.
- Medios de comunicación y vídeo: las emisoras utilizan la red distribuida para la transcodificación impulsada por IA y el doblaje en tiempo real.
- Comercio minorista: los minoristas están adoptando la red para aplicaciones de IA en las tiendas y herramientas de productividad asociadas en el punto de venta.
Impulsada por la demanda de las empresas, la plataforma también ha sido validada por los principales proveedores de tecnología, incluyendo un acuerdo de servicio de cuatro años por valor de 200 millones de dólares para un clúster de miles de GPU en un centro de datos construido específicamente para la infraestructura de IA empresarial en el edge metropolitano.
