El 28 de abril de 2026, una empresa argentina de alquiler de equipos perdió toda su base de datos de producción en apenas nueve segundos. No sufrió un ataque externo. Un agente de IA interpretó literalmente una instrucción de limpieza, tenía permisos de escritura sin revisar y ejecutó una acción irreversible. La compañía zafó gracias a un backup separado; tuvo suerte.
Trabajo con IA todos los días, la uso para programar, la pongo en producción y le sugiero stacks a equipos enteros. Veo de primera mano sus dos caras, lo que cambia para bien y lo que se rompe silenciosamente. El episodio de la base de datos resume una tensión creciente. El vendor lock-in es el riesgo que todos nombran. La atrofia cognitiva es lo que nadie quiere ver: las empresas adoptan herramientas de IA cada vez más rápido, mientras los equipos todavía intentan comprender cómo funcionan realmente.
Hoy millones de personas usan LLMs para escribir correos, resumir reuniones o crear código. La experiencia parece mágica porque la herramienta entrega resultados inmediatos. Sin embargo, detrás existe un mecanismo puramente estadístico. La IA no entiende el problema ni razona; calcula probabilidades de tokens. El modelo no sabe que está hablando de un caballo cuando escribe «caballo»: solo detecta que tras la frase «el caballo galopó por la» suele aparecer «pradera» o «playa». Es un autocompletar con esteroides estadísticos.
Si un desarrollador pide una función para eliminar registros, la IA produce una secuencia técnicamente válida porque vio millones de ejemplos parecidos. Pero no comprende el impacto real de borrar información crítica en producción. Es el famoso «Cuarto Chino» de John Searle: un sistema que manipula símbolos de forma brillante siguiendo reglas, pero que no entiende una sola palabra de lo que procesa.
Los LLMs son, justamente, ese cuarto: un sistema con cientos de miles de millones de parámetros y un manual aprendido por un algoritmo en vez de estar escrito a mano. La trampa de la IA generativa es que produce outputs sorprendentemente convincentes sin tener la menor noción del mundo real, delegándonos a la fuerza un juicio crítico que ningún algoritmo puede replicar.
El riesgo real no está en las respuestas incorrectas, sino en que las personas dejen de construir entendimiento propio por confiar ciegamente en outputs convincentes. Si el modelo no entiende nada y el profesional tampoco, en el sistema completo la comprensión es igual a cero. Y los sistemas donde nadie entiende lo que pasa son, justamente, los que fallan de las maneras más catastróficas y caras.
La regla es clara, se puede tercerizar el pensamiento, no el entendimiento. La IA es extraordinaria para acelerar tareas repetitivas y estructurar procesos. Se puede delegar el pensamiento ejecutivo (la sintaxis de un comando, un boilerplate, la prosa de un mail estándar), pero nunca el entendimiento.
Por Santiago Marro, AI Specialist Lead en Santex
