La IA, ¿engañada?
Técnicamente, modelos como Gemini deberían negarse a satisfacer este tipo de requerimientos. Su programación les impide participar en actividades delictivas o dañinas para las personas. No obstante, Google ha detectado que los ciberdelincuentes han encontrado una manera de saltarse ese veto. “Están utilizando argumentos que recuerdan a la ingeniería social”, explica, haciendo referencia a las técnicas de manipulación psicológica que buscan engañar a personas para que revelen información o realicen acciones que comprometan su seguridad.
La clave es que esos engaños funcionan también con la inteligencia artificial. “Se han podido observar agentes que se hacen pasar por estudiantes que hacen ejercicios tipo 'captura la bandera' o por investigadores en ciberseguridad. En ambos casos, tratan de persuadir a Gemini para que les facilite una información que, en otras circunstancias, estaría bloqueada, y que necesitan para desarrollar determinadas herramientas”, reconoce el informe de Google.
La multinacional afirma que ya ha cancelado las cuentas y proyectos asociados a este tipo de actividades y que está tomando medidas para intentar evitar este tipo de usos indebidos. “Google ha asumido el compromiso de desarrollar la IA de forma responsable y toma medidas preventivas para impedir la actividad maliciosa”, destaca. Como parte de ese compromiso, también ha divulgado estos hallazgos “para dar herramientas a los equipos de seguridad y para promover protecciones más sólidas en todo el ecosistema”.
Esto se considera una buena práctica clave en el sector de la ciberseguridad, ya que permite a los especialistas prepararse ante las nuevas técnicas de los atacantes.
Un mercado de la IA criminal
Al igual que la IA está avanzando por el resto de sectores económicos y sociales, también lo hace su uso para actividades delictivas. “A lo largo de este año, el mercado negro de herramientas de IA ilícitas ha madurado”, recoge el informe de Google. Su equipo ha identificado “ofertas de herramientas multifuncionales diseñadas para facilitar actividades de phishing, desarrollo de malware e investigación de vulnerabilidades” durante la investigación.
Un ejemplo reciente de este “mercado negro” de herramientas de IA ilícitas es el caso de Xanthorox, una inteligencia artificial sin restricciones diseñada explícitamente para ayudar a ciberdelincuentes novatos. Esta “IA para hackers”, que se vendía por 200 dólares, presumía de poder generar ransomware capaz de eludir antivirus y facilitar ataques complejos. Sin embargo, la vanidad de su creador, un estudiante de ingeniería bangladesí de 23 años, le llevó a cometer errores fatales de seguridad, como alojar los servidores en su propio domicilio. Investigadores de la firma de ciberseguridad española Zynap siguieron estas pistas hasta identificarlo, obligándole a retirar su creación de la circulación.
Se trata de “herramientas reducen las barreras de entrada para los agentes menos sofisticados”, destaca la multinacional. Una tendencia que se está percibiendo a nivel general, con cada vez más actores que se dedican específicamente a hacer que los ciberataques sean accesibles para bandas que hasta ahora no contaban con los conocimientos adecuados para llevarlos a cabo de manera exitosa. Recientemente, la Guardia Civil ha detenido a un hacker acusado de lucrarse con estas actividades, alquilando herramientas ofensivas que empaquetaba como “kits de estafa”.
Fuentes: