Desde hace más de una década, la IA y el aprendizaje automático han estado creando nuevas capacidades para las empresas y los investigadores. Sin embargo, ninguna de esas innovaciones ha captado la imaginación de las personas y las empresas como la GenAI.
A lo largo de los últimos dos años, el mundo ha pasado por un cambio tectónico debido al surgimiento de los modelos de lenguaje de gran tamaño (LLM) que conforman los cimientos de las aplicaciones de GenAI. Las réplicas se seguirán sintiendo durante décadas.
Yo crecí en Silicon Valley, donde siempre estábamos esperando “el gran evento telúrico” que cambiaría nuestras vidas de la noche a la mañana. Aunque esa metáfora se usa todo el tiempo en el mundo de la tecnología, esta vez es apropiada. En el futuro, miraremos hacia atrás y veremos una clara demarcación: la vida antes y después de los LLM.
Hoy en día, utilizamos un conjunto de aplicaciones para realizar funciones básicas como buscar en bases de datos, enviar mensajes o crear documentos con las herramientas que conocemos bien. En el futuro, pediremos a un representante basado en IA que nos proporcione respuestas o realice estas tareas.
Tu representante de IA resolverá simultáneamente ecuaciones de física, economía, derecho y más para decidir la mejor manera de implementar cada secuencia de tareas, además de organizar los modelos y buscar información en fuentes adicionales según sea necesario. El representante de IA también recordará las solicitudes pasadas y anticipará las futuras, a fin de adaptarse al comportamiento de los usuarios y crear sistemas sumamente personalizados para ellos.
En la actualidad, los científicos de datos y los ingenieros de IA que desarrollan modelos avanzados a menudo no pueden explicar cómo llegan a un determinado resultado. La magnitud de las entradas, la naturaleza del entrenamiento y la enorme potencia computacional requerida para producir un modelo se combinan para hacer que los modelos de IA sean inexplicables.
Y aunque en algunos casos esto sea aceptable, al tratarse de su adopción para un uso específico en una empresa altamente regulada, la transparencia será clave para su implementación.
Cada elemento dentro de la infraestructura informática mundial, es decir, cada componente en cada rack de cada centro de datos deberá optimizarse para la sostenibilidad. Los responsables de la toma de decisiones tendrán que determinar si el valor de cada resultado empresarial justifica el gasto energético necesario para producirlo.
Los LLM más avanzados actualmente están escalando a trillones de parámetros, que representan el número de variables que pueden ajustarse para mejorar la precisión de las predicciones del modelo. La gran incógnita es si un mayor número de parámetros producirá modelos aún más eficientes. De ser así, la próxima generación de modelos requerirá una cantidad mucho mayor de parámetros, además de volúmenes de datos y gigavatios de potencia de cómputo aún más altos.
El instituto de investigación Epoch AI estima que el modelo más costoso hasta la fecha, Gemini Ultra, tiene un costo combinado de capital y operación de USD $800 millones. Si el ritmo actual de desarrollo de los LLM continúa, en una década podríamos gastar el equivalente al presupuesto anual global de TI para entrenar un modelo a la vez. En otras palabras, llegaremos al límite de nuestra capacidad para entrenar modelos más grandes con las tecnologías existentes.
Fuente: HPE
