El rápido aumento de IA generativa ha generado enormes promesas, pero también está acelerando la carrera armamentística en materia de ciberamenazas. El reciente informe de OpenAI... "Interrumpir los usos maliciosos de la IA" El informe de amenazas destaca las tendencias de ataque recientes: los adversarios no están inventando amenazas completamente nuevas (métodos de ataque), sino que están integrando AI en vectores de ataque establecidos para impulsar aumentos dramáticos en escala, sofisticación, daño y sigilo.
El informe ofrece consideraciones interesantes para equipos de seguridad, ejecutivos, reguladores y usuarios finales. A continuación, se detallan los hallazgos, los cambios en el panorama de amenazas y las directrices para protegerse contra la ciberdelincuencia impulsada por la IA.
Hallazgos clave del informe
Estas son las observaciones más destacadas del análisis de OpenAI:
La IA es un multiplicador de eficiencia, no una nueva arma mágica Los actores de amenazas utilizan la IA para optimizar las operaciones, la generación de contenido, la traducción, la mensajería en redes sociales e incluso la gestión de operaciones internas. En muchos casos, la innovación reside en la rapidez con la que los hackers pueden iterar, localizar, realizar pruebas A/B de mensajes o crear nuevos perfiles, en lugar de inventar vectores de ataque completamente nuevos.
La IA ayuda a combinar los flujos de trabajo humanos y de IA En lugar de "hackers de IA" totalmente automatizados, muchos esquemas combinan la IA con la supervisión y el control humanos. Por ejemplo, cuando las solicitudes directas de código malicioso enviadas a ChatGPT fueron rechazadas debido a las medidas de seguridad implementadas por los proveedores de IA LLM, los hackers solucionaron el problema solicitando que bloques o componentes específicos se escribieran como "fragmentos de código" que luego ensamblaron manualmente para crear un malware funcional.
Los actores vinculados al Estado están experimentando intensamente con herramientas de IA OpenAI marcó y bloqueó el acceso a cuentas que se encontraron vinculadas a grupos afiliados a estados (por ejemplo, China, Rusia, Corea del Norte) que utilizaban IA para reconocimiento, creación de scripts, depuración de código, generación de contenido, traducciones y operaciones de influencia.desinformación y desinformación). El informe enfatiza que, si bien el uso de IA es mayoritariamente incremental, estos hallazgos son señales tempranas de cómo amenazas a los estados-nación se están adaptando a nuestro mundo impulsado por la inteligencia artificial.
Redes de estafa y fraude laboral mediante IA El informe detalla varios estudios de caso en los que centros de estafa (en Myanmar, Camboya, etc.) utilizaron IA para generar biografías de ejecutivos falsas, redactar mensajes en varios idiomas y gestionar operaciones. Un hallazgo positivo de este informe fue que OpenAI estima que las personas usan ChatGPT para detectar or ¡Escuela estafas tres veces más a menudo que los actores de amenazas lo utilizan para crear y ejecutar estafas.
Los desafíos del “uso dual” en áreas grises son reales y es difícil para los proveedores de IA protegerse contra ellos Muchas actividades maliciosas rozan la frontera entre el uso legítimo y el ilícito, por ejemplo, solicitar ayuda con criptografía, depurar código o publicar investigaciones. Estas solicitudes pueden parecer inofensivas a primera vista, pero pueden redirigirse rápidamente a fines dañinos. El informe subraya la complejidad de discernir intenciones y la dificultad que tienen los proveedores de IA para establecer las medidas de seguridad adecuadas en torno a sus productos.
Qué está cambiando (y qué no)
Lo que está cambiando:
Escala y velocidad de ingeniería social La IA permite campañas de phishing, SMS (smishing) y suplantación de identidad más rápidas, más localizadas y con mayor sensibilidad al contexto. Herramientas como FraudeGPT, WormGPT y modelos similares específicos de dominio aceleran las capacidades de los actores de amenazas. Dicho esto, algunas evaluaciones recientes sugieren que la IA aún no ha... revolucionado Campañas de phishing al por mayor, muchos atacantes aún confían en kits y plataformas probados, completándolos con IA para la creación de contenido, la calidad del idioma, la socialización y la localización.
Deepfakes, clonación de voz/vídeo y suplantación de identidad La capacidad de clonar voces o rostros, o de generar videos o audios deepfake plausibles, presenta un alto riesgo de ingeniería social y fraude. La herramienta de video Sora de OpenAI (y su potencial uso indebido) ya ha sido objeto de un intenso escrutinio. El FBI, CyberHoot y otras empresas de seguridad han señalado la clonación de voz y video como un vector de amenaza emergente que debe tomarse en serio y establecer normas y procesos para combatir estos ataques. Por ejemplo, se ha establecido una "palabra de seguridad" para la autorización de transacciones financieras, que solo puede ser emitida verbalmente por los participantes.
Menor barrera de entrada La IA permite que incluso atacantes menos cualificados lleven a cabo ataques. Alguien con conocimientos mínimos de programación podría improvisar un ataque utilizando fragmentos de código asistidos por IA o cadenas de indicaciones. La democratización de las herramientas de IA está aumentando el riesgo en todos los ámbitos.
Aumentar el sigilo y la evasión Los atacantes están aprendiendo a enmascarar las señales de la intervención de la IA, por ejemplo, indicando a ChatGPT que evite estilos de puntuación o frases que puedan revelar la generación automática. También están integrando la IA en flujos de trabajo modulares para que ningún paso sea abiertamente sospechoso.
Las barreras en el procesamiento, la implementación y la detección están ralentizando la adopción La integración de la IA en operaciones de piratería informática totalmente autónomas no es algo trivial: el alojamiento de modelos, la evitación de la detección y la integración en la infraestructura de ataque son obstáculos que están frenando su adopción por parte de los piratas informáticos.
La ventaja defensiva sigue siendo factible La IA también puede empoderar a los defensores mediante la detección automatizada, la monitorización de anomalías, la inteligencia de amenazas, el análisis de comportamiento, la desinfección inmediata y la auditoría de modelos. El enfoque de OpenAI para detectar y cerrar cuentas de estados-nación adversarios es solo un ejemplo.
Riesgos emergentes y patrones de ataque a tener en cuenta
A continuación se presentan algunos patrones de amenazas emergentes o en evolución a los que debemos prestar atención:
Amenaza/Patrón
Descripción
Riesgo y ejemplo
Inyección rápida/liberación de la cárcel
Los atacantes crean entradas que manipulan la forma en que los LLM interpretan las instrucciones del sistema frente a las del usuario, eludiendo así las medidas de seguridad.
Un LLM integrado en un flujo de trabajo corporativo podría ser engañado y llegar a filtrar secretos internos o ejecutar código dañino.
Campañas de smishing mediante IA (estilo AbuseGPT)
Uso de modelos generativos para crear contenido de phishing por SMS a gran escala.
Un SMS bien redactado con un enlace malicioso que parezca personalizado podría dar lugar al robo de una cuenta de correo electrónico.
“Hackeo de vibraciones” / abuso de IA por parte de agentes
Sistemas de IA totalmente agentes que ejecutan operaciones de extremo a extremo, incluidas tácticas psicológicas y flujos de trabajo adaptativos.
Anthropic ha señalado esto como una importante amenaza emergente, donde un operador puede “orquestar” un ataque multidominio utilizando IA agencial.
Personas falsas, empresas falsas, historias sociales profundas
Uso de IA para construir historias de fondo plausibles, historias personales, perfiles de redes sociales y patrones de comunicación.
Un actor de amenazas podría hacerse pasar por un socio confiable o infiltrarse en las redes sociales para generar credibilidad a lo largo del tiempo.
Flujos de trabajo de IA encadenados y entre herramientas
Combinando ChatGPT para la planificación con otros modelos de generación, traducción, medios o voz.
Una campaña podría comenzar con ChatGPT diseñando un marco de phishing y luego usar una IA separada para la traducción multilingüe y otra para integrarla en el video.
Plataformas de estafa como servicio/llave en mano impulsadas por IA
Modelos de crimeware como servicio combinados con capacidades de inteligencia artificial.
Un mercado clandestino que vende kits de phishing impulsados por inteligencia artificial, herramientas de clonación de voz o motores de generación de contenido.
Estrategias defensivas y mitigaciones
Para combatir las amenazas potenciadas por la IA, los proveedores de IA y los equipos de ciberseguridad deben evolucionar sus enfoques. A continuación, se presentan sugerencias estratégicas a considerar:
1. Reforzar las defensas de entrada/encadenamiento
Público objetivo: Proveedores de IA, proveedores de soluciones de IA para clientes
Adoptar filtrado de indicaciones, desinfección de entrada y validación de contexto en todas las herramientas impulsadas por IA.
Monitoree los mensajes sospechosos o las cadenas que pasan de solicitudes benignas a solicitudes maliciosas.
Utilice políticas en capas para distinguir las instrucciones del sistema de la entrada del usuario.
2. Introspección y auditoría de modelos
Público objetivo:Usuarios y empresas de soluciones de IA
Registrar y auditar las interacciones de los usuarios con los sistemas de IA.
Utilice la detección de anomalías para marcar patrones de solicitudes o cadenas de solicitudes inusuales.
Utilice periódicamente técnicas de “equipo rojo” y pruebas adversas (incluidas inyecciones rápidas).
3. Supervisión híbrida entre humanos e IA
Público objetivo:todos los usuarios y proveedores de IA
Mantenga a los humanos informados sobre casos de uso de alto riesgo (por ejemplo, generación de código, asesoramiento de seguridad, API externas).
Adopte flujos de trabajo de aprobación cuando los resultados de IA afecten a sistemas o datos críticos.
4. Verificación de identidad, verificación de medios y detección de deepfakes
Público objetivo:todos los usuarios y proveedores de IA
Use biométrico controles de vida, marcas de agua, etiquetas de procedencia o clasificadores de detección de IA para identificar medios sintéticos.
Requerir validación adicional (por ejemplo, confirmación fuera de banda) cuando se utilizan medios en transacciones sensibles.
5. Intercambio y coordinación de inteligencia sobre amenazas
Comparta indicadores de compromiso, firmas rápidas y patrones adversarios entre organizaciones y proveedores.
Colaborar con los proveedores de IA para informar sobre el uso indebido y propagar estrategias de mitigación.
6. Capacitación y concientización de la fuerza laboral
Público objetivo:todos los usuarios y proveedores de IA
Eduque a los empleados sobre la ingeniería social habilitada por IA, los ataques deepfake y los protocolos de verificación.
Implementar simulacros de phishing que simulen señuelos de phishing impulsados por IA.
7. Defensa como IA: aprovechando los sistemas generativos para la seguridad
Público objetivo: Proveedores de IA que crean soluciones defensivas
Utilice IA para simular ataques, investigar inyecciones de mensajes, detectar contenido malicioso o mensajes de usuario.
Cree una supervisión basada en IA que detecte cuándo se están utilizando incorrectamente las herramientas internas.
Conclusión
El informe de OpenAI subraya un mensaje claro: el riesgo real no es si la IA... puede ser convertido en arma (Pista: ya lo ha sido), pero si los seres humanos., a las organizaciones y ecosistemas de seguridad Están preparados para adaptarse y defenderse de estas amenazas tradicionales intensificadas. El mejor camino a seguir no reside en resistirse a la IA, sino en diseñarla defensivamente, previendo su uso indebido desde el principio y construyendo defensas colaborativas en toda la frontera entre la IA y la ciberseguridad. Finalmente, el panorama de ataques no ha cambiado, por lo que las posturas defensivas tradicionales, como la capacitación de concientización del usuario final, las simulaciones de phishing con un enfoque positivo y la implementación de tecnologías tácticas para detectar y defenderse de estos ataques, seguirán funcionando y serán medidas importantes en nuestros programas de ciberseguridad de defensa en profundidad.
El mundo laboral ha cambiado enormemente desde la COVID-19. Atrás quedaron los días en que los administradores de TI se sentaban detrás de una mesa corporativa...
