Akamai ha marcado un hito importante en la evolución de la IA al presentar la primera implementación a escala mundial del diseño de referencia NVIDIA AI Grid. Al integrar la infraestructura de IA de NVIDIA en la suya y aprovechar la orquestación inteligente de cargas de trabajo en toda su red, Akamai pretende llevar al sector más allá de las fábricas de IA aisladas hacia una red unificada y distribuida para la inferencia de IA.
Esto supone un paso significativo en la evolución de Akamai Inference Cloud, presentada a finales del año pasado. Akamai, la primera empresa en poner en marcha la red AI Grid, está implementando miles de GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, lo que proporciona una plataforma que permite a las empresas ejecutar IA con agentes y física, con la capacidad de respuesta de la computación local y la escala de la web global.
“Los centros de IA se han diseñado específicamente para la formación y las cargas de trabajo de modelos de vanguardia, y la infraestructura centralizada seguirá ofreciendo los mejores resultados en términos de tokenómica para esos casos de uso”, afirma Adam Karon, director de operaciones y director general del Cloud Technology Group de Akamai.
El núcleo central de AI Grid consiste en un coordinador inteligente que actúa como intermediario en tiempo real para las solicitudes de IA. Al aplicar la experiencia de Akamai en la optimización del rendimiento de las aplicaciones a la IA, este plano de control sensible a la carga de trabajo optimiza la «tokenómica», mejorando así el coste por token, el tiempo hasta el primer token y el rendimiento.
Una de las principales características que diferencian a Akamai es su capacidad para que los clientes accedan a modelos ajustados o dispersos a través de su enorme presencia global, lo que supone una gran ventaja en términos de costes y rendimiento para la larga cola de cargas de trabajo de IA.
Las empresas pueden reducir drásticamente los costes de inferencia al asignar automáticamente las cargas de trabajo al nivel de computación adecuado. Este coordinador aplica técnicas como el almacenamiento en caché semántico y el enrutamiento inteligente para dirigir las solicitudes a los recursos del tamaño adecuado y reserva los ciclos de GPU premium para las cargas de trabajo que los necesitan.
Desarrollada sobre NVIDIA AI Enterprise y aprovechando la arquitectura NVIDIA Blackwell y las DPU NVIDIA BlueField para redes y seguridad aceleradas por hardware, Akamai puede gestionar acuerdos de nivel de servicio (SLA) complejos entre ubicaciones edge y core.
Fuente: Akamai
