La ingeniería social es uno de los trucos más antiguos de los hackers: manipular a una víctima para que entregue su información o instale malware. La forma más común de abordar a las víctimas es a través de un correo electrónico de phishing, un mensaje de texto o una llamada telefónica.
Desde ESET advierten que los cibercriminales ya convirtieron en actor malicioso a la misma GenAI. Puntualmente en X (antes Twitter), lograron engañar al chatbot Grok (la IA de X) para que difunda links de phishing en su cuenta de X.
En esta campaña, los cibercriminales eluden la prohibición de X de incluir enlaces en los mensajes promocionados mediante la publicación de vídeos llamativos. Es el tipo de ataque en el que los actores de amenazas dan instrucciones maliciosas disfrazadas de comandos de un usuario legítimos, incluyen su enlace malicioso en campo «from» debajo del vídeo, y preguntan a Grok de dónde procede el vídeo. Grok lee el mensaje, detecta el pequeño enlace y lo amplifica en su respuesta, dándole una falsa sensación de legitimidad, al ser replicado por la misma cuenta verificada del chatbot.
“Este caso no es solo un problema de X/Grok. Las mismas técnicas podrían aplicarse teóricamente a cualquier herramienta GenAI/LLM integrada en una plataforma de confianza. Esto pone de relieve el ingenio de los actores de las amenazas para encontrar la manera de eludir los mecanismos de seguridad. Pero también los riesgos que corren los usuarios al confiar en los resultados de la IA”, comenta Camilo Gutiérrez Amaya, Jefe del Laboratorio de Investigación de ESET Latinoamérica.
Este truco convierte a Grok en un actor malicioso, al incitarle a volver a publicar un enlace de phishing. Estas publicaciones de vídeo pagadas suelen alcanzar millones de impresiones, propagando potencialmente estafas y malware por todas partes. Los enlaces también se amplificarán en SEO y reputación de dominio, ya que Grok es una fuente de gran confianza.
“La IA es un potenciador de la ingeniería social en dos sentidos. Por un lado, los grandes modelos lingüísticos pueden ser usados para el diseño de campañas de phishing muy convincentes a gran escala, con audios y videos falsos que logran engaños más verídicos que pueden engañar al usuario más escéptico. Por otro lado, este nuevo descubrimiento del abuso del chatbot de X (grok) dio lugar a esta técnica apodada «Grokking», que sería una forma distinta de aprovechamiento de la GenAI por los cibercriminales”, agrega Gutiérrez Amaya de ESET.
Este tipo de ataques va en aumento. La empresa de análisis Gartner afirmaba recientemente que un tercio (32%) de las organizaciones había experimentado una inyección puntual durante el año pasado. Hay muchos otros escenarios potenciales en los que podría ocurrir algo similar al caso de uso de Grok/X.
Fuente: ESET
