4 amenazas de la IA generativa y sus mitigaciones 

La IA generativa (GenAI) crea contenido nuevo a partir de datos de entrenamiento, pero los atacantes pueden hacer un mal uso de ella. Las cuatro principales amenazas de GenAI son el phishing, las deepfakes, la creación de malware y la manipulación de datos. Cada una de ellas puede mitigarse con una combinación de cifrado, controles de acceso robustos, concienciación del usuario, herramientas de detección y la adhesión a marcos como el Marco de Gestión de Riesgos de IA del NIST.

La IA generativa (GenAI) crea texto, imágenes, audio y vídeo a partir de grandes conjuntos de datos de entrenamiento, y si bien es una herramienta poderosa, los atacantes pueden utilizarla con fines maliciosos. Las cuatro principales amenazas de la GenAI son el phishing, las falsificaciones profundas (deepfakes), la creación de malware y la manipulación de datos. Cada una de ellas se mitiga mediante la combinación de cifrado , controles de acceso, herramientas de detección, concienciación del usuario y marcos estructurados como el del NIST.

Puntos Clave

• La IA generativa crea contenido nuevo a partir de datos de entrenamiento; el mismo poder que ayuda a las empresas puede ser mal utilizado por los atacantes.
• Las cuatro principales amenazas de la IA de última generación son el phishing (engaños más convincentes), los deepfakes (audio y vídeo sintéticos), la creación de malware (código evasivo generado por IA) y la manipulación de datos (envenenamiento, sesgo, contenido falso).
• Incidentes reales demuestran lo que está en juego, desde el fraude por correo electrónico empresarial asistido por IA hasta el fraude de voz mediante deepfake y los scripts de malware generados por IA.
• El NIST enmarca el riesgo de la IA general en torno a la integridad, la disponibilidad y la privacidad, y ofrece orientación en SP 800-53, SP 800-37 y el Marco de gestión de riesgos de IA (AI 600-1).
• Las principales medidas de mitigación incluyen cifrado robusto, controles de acceso (MFA, RBAC), validación de entrada, minimización de datos, monitorización, firma de código y formación de usuarios.

¿Qué es la IA generativa y por qué supone un problema de seguridad?

La IA generativa, o GenAI, es un subconjunto de la inteligencia artificial que genera contenido nuevo (texto, imágenes, audio y vídeo) a partir de un conjunto de datos de ejemplos previos. Utiliza algoritmos sofisticados y redes neuronales, entrenados con conjuntos de datos muy grandes (a veces tan extensos como internet), para replicar la creatividad humana. Debido a la magnitud de estos modelos, las organizaciones suelen depender de terceros para su desarrollo y gestión, y la integración de API de terceros añade complejidad arquitectónica en lo que respecta a protocolos, gestión de errores y flujo de datos.

Esa misma capacidad —manejar grandes cantidades de datos, responder a diversas consultas y aprender continuamente— es lo que explotan los atacantes. GenAI permite a los ciberdelincuentes producir texto, gráficos y audio realistas, lo que perfecciona sus vectores de ataque, les ayuda a evadir la detección y dificulta distinguir el contenido auténtico del falsificado. Las cuatro amenazas que se describen a continuación son donde esto se manifiesta con mayor claridad.

Las 4 principales amenazas de la IA generativa

Interna	Cómo se hace mal uso de GenAI	Medidas de mitigación principales
Phishing	Crea correos electrónicos y mensajes falsos, convincentes y personalizados a gran escala.	Concienciación del usuario, verificación de correo electrónico, autenticación multifactor, herramientas de informes
Deepfakes	Genera audio y video falsos y realistas para suplantar la identidad de otras personas.	Herramientas de detección, verificación biométrica y multicanal, cifrado
Creación de malware	Escribe y modifica código malicioso polimórfico y evasivo.	Parches, privilegios mínimos, EDR, detección de comportamiento, segmentación
Manipulación de datos	Envenena los datos de entrenamiento, inyecta sesgos, produce contenido falso en masa.	Supervisión, comprobaciones de integridad de datos, controles de acceso, copias de seguridad

1. Suplantación de identidad

El phishing es un ataque de ingeniería social en el que se utilizan correos electrónicos, mensajes o llamadas fraudulentas para simular legitimidad. GenAI hace que el phishing sea mucho más convincente: puede capturar el tono y el contenido de correos electrónicos reales, eliminando la gramática deficiente que antes delataba las estafas. Un ataque de phishing exitoso puede exponer detalles de cuentas y datos personales, lo que puede provocar robo de identidad, pérdidas financieras o el acceso a la red de una empresa desde donde los atacantes extraen datos o implementan ransomware. Entre las variantes dirigidas se incluyen el spear phishing (dirigido a personas específicas utilizando sus datos personales), el whaling (dirigido a altos ejecutivos) y el pharming (redireccionamiento de usuarios a sitios fraudulentos mediante manipulación de DNS).

Un ejemplo bien documentado de fraude por correo electrónico empresarial: entre 2013 y 2015, Evaldas Rimasauskas se hizo pasar por un proveedor de confianza y envió facturas falsas, engañando a Google y Facebook para que pagaran más de 100 millones de dólares . GenAI facilita la realización de este tipo de engaños a gran escala.

Mitigación

Mantente alerta ante mensajes urgentes y amenazas ("tu cuenta será cerrada"), saludos genéricos como "Estimado cliente", remitentes desconocidos y cualquier solicitud de contraseñas o datos bancarios (las organizaciones legítimas no solicitan esto). No hagas clic en enlaces ni abras archivos adjuntos en mensajes sospechosos; verifica la información a través de un canal independiente, repórtalo al departamento de TI o mediante la opción de reporte de phishing de tu correo electrónico y elimínalo. Si interactuaste con el mensaje, cambia las contraseñas de inmediato y supervisa las cuentas afectadas. Unos controles de acceso robustos y la autenticación multifactor (MFA) limitan el daño causado por el robo de credenciales.

2. Falsificaciones profundas

Un deepfake es un contenido multimedia sintético, generalmente vídeo, imagen o audio, creado con GenAI (a menudo mediante redes generativas antagónicas o GAN) para replicar con gran fidelidad el rostro, la voz y el habla de una persona. Los deepfakes se utilizan para la ingeniería social, el fraude y el spear phishing, y pueden eludir la verificación tradicional. Cada vez se utilizan más para engañar a las personas y conseguir que autoricen transferencias o descarguen malware durante lo que parece una interacción legítima. En un caso de 2019, se utilizó una voz deepfake que imitaba a un director ejecutivo para autorizar una transferencia fraudulenta de aproximadamente 243,000 dólares ; desde entonces, se han producido fraudes de transferencia aún mayores mediante deepfakes.

Mitigación

Esté atento a las señales reveladoras: sombras faciales extrañas, tonos de piel poco naturales, parpadeo irregular, bordes borrosos y, en el audio, sincronización labial descoordinada o una calidad robótica. Implemente herramientas de detección basadas en IA; utilice plataformas de comunicación encriptadas y almacenamiento seguro para datos multimedia y de voz; exija verificación biométrica o multicanal para solicitudes confidenciales; aplique marcas de agua digitales para autenticar los medios propios; supervise el uso indebido de los medios de la empresa; capacite a los empleados; y tenga un plan de crisis para incidentes de deepfake.

3. Creación de malware

El malware es cualquier software diseñado para dañar, explotar o interrumpir sistemas. GenAI reduce la complejidad técnica para crearlo, permitiendo incluso a usuarios sin experiencia producir código malicioso, y puede automatizar malware sofisticado y polimórfico que cambia constantemente su estructura para evadir la detección. El malware asistido por IA puede utilizar técnicas adversarias para sortear la detección y respuesta en el punto final (EDR), los firewalls y los antivirus, y puede ayudar a crear scripts de ransomware o exploits. Los tipos comunes de malware incluyen virus, gusanos, troyanos, ransomware, spyware, adware, rootkits, keyloggers, botnets y malware sin archivos.

Los incidentes en la cadena de suministro demuestran el daño potencial. El ataque a Kaseya (julio de 2021) permitió al grupo REvil explotar una vulnerabilidad en el software VSA de Kaseya para lanzar un ataque de ransomware contra unas 1,500 empresas y exigir 70 millones de dólares. El ataque a SolarWinds (2020) insertó código malicioso en las actualizaciones del software Orion, afectando a aproximadamente 18 000 organizaciones, incluidas agencias gubernamentales estadounidenses. La IA acelera la creación de este tipo de amenazas.

Mitigación

Utilice una defensa multicapa: actualice el software y los sistemas operativos con prontitud; aplique el principio de mínimo privilegio; utilice la detección de comportamiento para detectar el malware que elude las firmas; realice pruebas y auditorías con ataques simulados; ejecute una monitorización continua de los puntos finales con EDR; utilice listas de aplicaciones permitidas; segmente las redes para contener la propagación; adopte la seguridad basada en la nube; mantenga copias de seguridad automatizadas y probadas para la recuperación; y eduque a los usuarios, ya que el error humano es un vector principal de malware.

4. Manipulación de datos

GenAI puede utilizarse para distorsionar datos y percepciones. Los modelos pueden heredar sesgos de los datos de entrenamiento, produciendo resultados sesgados o discriminatorios, y pueden emplearse para generar reseñas, testimonios y otros contenidos falsos y convincentes que manipulen la opinión pública o dañen una marca. Un riesgo técnico específico es el envenenamiento de datos , donde los atacantes inyectan datos maliciosos en el conjunto de entrenamiento de un modelo para que produzca resultados incorrectos o perjudiciales. Los modelos de lenguaje de gran tamaño también plantean problemas de privacidad, ya que sus datos de entrenamiento, a menudo extraídos de la web, pueden incluir información personal recopilada sin consentimiento.

Entre los ejemplos históricos se incluyen el chatbot Tay de Microsoft, que los usuarios manipularon para que publicara contenido ofensivo a las pocas horas de su lanzamiento, y la estafa de Bitcoin en Twitter en 2020, donde los atacantes secuestraron cuentas de alto perfil para promover un fraude con criptomonedas, dañando la confianza en la integridad de la plataforma y la seguridad de las cuentas.

Mitigación

Esté atento a actividades inusuales, como cambios inesperados en los datos o aumentos repentinos en el acceso a información confidencial, y revise los registros en busca de ediciones no autorizadas. Compare los datos con fuentes confiables y analice los metadatos para detectar indicios de manipulación. Si se detecta manipulación, aísle los sistemas afectados, investigue el origen y el alcance, notifique a las partes interesadas, restaure a partir de copias de seguridad limpias y verificadas, realice una auditoría de seguridad completa para subsanar la vulnerabilidad explotada y refuerce la supervisión y la autenticación. Revise las obligaciones legales y reglamentarias en todo momento.

Guía del NIST sobre el riesgo de la IA genómica

El NIST enmarca las amenazas a los sistemas GenAI en torno a tres principios y ofrece una guía estructurada para gestionarlas:

• Integridad: Garantizar que los datos y los sistemas se mantengan precisos y fiables. Los riesgos para la integridad de GenAI incluyen la manipulación de datos, los deepfakes y las noticias falsas, la alteración de modelos y el envenenamiento de datos (inyectar datos dañinos en el entrenamiento para que el modelo produzca resultados erróneos).
• Disponibilidad: Garantizar el acceso a los servicios y datos cuando se necesiten. Entre los riesgos se incluyen los ataques de denegación de servicio (DoS) y de denegación de servicio distribuido (DDoS), que interrumpen o paralizan las operaciones que dependen de la IA. Proteger los modelos de IA y sus bases de datos garantiza la resiliencia de las tareas críticas.
• Privacidad: Proteger la información personal (PII) y cumplir con leyes como GDPR y la CCPA. Los riesgos de privacidad de GenAI incluyen la fuga de datos, donde los datos confidenciales se exponen involuntariamente, y la extracción de información del contexto del sistema o de las indicaciones, donde los modelos exponen inadvertidamente datos confidenciales incrustados en las indicaciones o en interacciones previas.

El NIST también publica directrices que las organizaciones pueden aplicar directamente:

• SP 800-53 del NIST (Controles de seguridad y privacidad) proporciona un conjunto de controles estructurados que abarcan diversas áreas, como el control de acceso, la protección del sistema y las comunicaciones, y la respuesta ante incidentes.
• SP 800-37 del NIST El Marco de Gestión de Riesgos (Risk Management Framework) sirve de guía para evaluar, implementar y supervisar continuamente los controles de seguridad a lo largo del ciclo de vida de un sistema.
• NIST AI 600-1 (El perfil de IA generativa del marco de gestión de riesgos de la IA) aborda los riesgos específicos de la IA generativa, incluidos la privacidad de los datos, el sesgo del modelo, la transparencia, la rendición de cuentas y la ética.

Principales estrategias para protegerse contra las amenazas de la IA de generación

• Validación de entrada sólida: Verifique los datos entrantes para evitar que las entradas maliciosas o con formato incorrecto dañen su sistema.
• Encriptación: Encripta los datos confidenciales para que permanezcan protegidos incluso si los atacantes acceden a ellos; solo quienes posean la clave de descifrado podrán leerlos.
• Proteja sus credenciales: Almacene los secretos en bóvedas seguras, rote las claves periódicamente y aplique controles de acceso a las claves y tokens de la API.
• Redundancia y conmutación por error: Mantenga sistemas de respaldo para que los servicios sigan estando disponibles incluso si un componente se ve comprometido.
• Pruebas de estrés: Simule tráfico anómalo y la peor carga posible para detectar debilidades arquitectónicas antes de que lo hagan los atacantes.
• Firma de código con auditorías de privacidad: Firme digitalmente el software para verificar su autenticidad e integridad, y realice auditorías de privacidad periódicas sobre los datos de los usuarios.
• Mitigación de DDoS: Utilice cortafuegos y herramientas de análisis de tráfico para detectar patrones anómalos y mantener la disponibilidad de los servicios.
• Minimización de datos: Recopile y conserve únicamente los datos necesarios, reduciendo así la exposición en caso de una violación de seguridad.
• Fuertes controles de acceso: Hacer cumplir la autenticación multifactor (MFA) y control de acceso basado en roles (RBAC) para que solo los usuarios autorizados accedan a los datos confidenciales.

Cómo ayuda la consultoría de cifrado

A medida que evolucionan las amenazas impulsadas por la IA de última generación, los Servicios de Asesoramiento en Cifrado de Encryption Consulting ayudan a las organizaciones a responder. Mediante el descubrimiento de datos, localizamos datos sensibles, tanto estructurados como no estructurados, y proporcionamos estrategias para protegerlos. Nuestras evaluaciones de riesgos identifican vulnerabilidades y ofrecen medidas de mitigación personalizadas. Además, desarrollamos marcos de protección de datos, gobernanza y monitorización para fortalecer la seguridad y garantizar el cumplimiento normativo. También ayudamos a integrar el cifrado, el control de acceso y la gestión de claves que sustentan la defensa contra los ataques impulsados ​​por IA. Contamos con el respaldo de las prácticas certificadas ISO/IEC 27001:2022 y SOC 2.

Preguntas frecuentes

¿Cuáles son las principales amenazas de la IA generativa?

Las cuatro principales amenazas son el phishing, los deepfakes, la creación de malware y la manipulación de datos. GenAI hace que los mensajes de phishing sean más convincentes, genera audio y video deepfake realistas para el fraude y la suplantación de identidad, ayuda a crear malware evasivo incluso para atacantes con poca experiencia y permite la manipulación de datos, como el envenenamiento de datos de entrenamiento o la producción masiva de contenido falso. Cada amenaza cuenta con medidas de mitigación establecidas, y marcos como el Marco de Gestión de Riesgos de IA del NIST ayudan a las organizaciones a gestionarlas sistemáticamente.

¿Cómo hace la IA generativa que el phishing sea más peligroso?

La IA generativa elimina la gramática deficiente y la redacción genérica que solían delatar el phishing. Puede imitar el tono y el estilo de los correos electrónicos legítimos y personalizar los mensajes a gran escala utilizando información recopilada, lo que hace que el spear phishing y el fraude por correo electrónico empresarial sean mucho más convincentes. Esto aumenta la tasa de éxito de los ataques que roban credenciales o engañan a los equipos financieros para que realicen pagos fraudulentos. Las medidas de mitigación incluyen la concienciación del usuario, la verificación de las solicitudes a través de canales separados, la autenticación multifactor (MFA) y las herramientas de denuncia de phishing.

¿Qué es un deepfake y cómo se puede combatir?

Un deepfake es un audio, vídeo o imagen sintéticos creados con inteligencia artificial generativa para suplantar de forma convincente a una persona real. Se utiliza a menudo en fraudes e ingeniería social, incluidas las estafas de transferencia de voz. Las medidas de protección incluyen herramientas de detección basadas en IA, la observación de artefactos visuales y de audio (parpadeo extraño, bordes borrosos, sincronización labial incorrecta), la exigencia de verificación biométrica o multicanal para solicitudes confidenciales, el uso de comunicaciones cifradas, la aplicación de marcas de agua a los medios de comunicación y la capacitación de los empleados para reconocer y denunciar los deepfakes sospechosos.

¿Puede la IA generativa crear malware?

Sí. La IA generativa puede reducir la habilidad necesaria para escribir código malicioso y automatizar la creación de malware polimórfico que cambia constantemente para evadir la detección basada en firmas. El malware asistido por IA puede usar técnicas adversarias para sortear EDR, firewalls y antivirus, y puede ayudar a crear scripts de ransomware o exploits. La defensa contra esto requiere controles por capas: parcheo inmediato, privilegios mínimos, detección de comportamiento, EDR, segmentación de red, copias de seguridad probadas y capacitación de usuarios.

¿Qué recomienda el NIST en materia de seguridad para la IA generativa?

El NIST enmarca las amenazas de la IA generativa en torno a tres principios: integridad, disponibilidad y privacidad, y ofrece una guía estructurada. La norma SP 800-53 proporciona controles de seguridad y privacidad, la SP 800-37 define un marco de gestión de riesgos para evaluar y supervisar los controles, y la norma NIST AI 600-1 (el perfil de IA generativa del marco de gestión de riesgos de IA) aborda las preocupaciones específicas de la IA generativa, como la privacidad de los datos, el sesgo de los modelos, la transparencia, la rendición de cuentas y la ética. En conjunto, ofrecen a las organizaciones una forma sistemática de gestionar el riesgo de la IA.

¿Cómo pueden las organizaciones protegerse de las amenazas de la IA generativa?

Las medidas de protección clave incluyen una sólida validación de entrada, el cifrado de datos confidenciales, la protección de credenciales en bóvedas seguras con rotación de claves, la implementación de redundancia y conmutación por error, pruebas de estrés contra ataques, el uso de firma de código con auditorías de privacidad, la mitigación de ataques DDoS con cortafuegos y análisis de tráfico, la minimización de los datos recopilados y la aplicación de controles de acceso robustos como la autenticación multifactor (MFA) y el control de acceso basado en roles (RBAC). Combinadas con la capacitación de los usuarios y la alineación con las directrices del NIST, estas medidas abordan las principales amenazas de la IA de última generación sin sacrificar la productividad.

Proteja su organización contra las amenazas impulsadas por la IA.

La IA generativa aumenta la exigencia en materia de seguridad, privacidad y confianza, pero el cifrado, los controles de acceso y la monitorización adecuados mantienen la resiliencia de su organización. Explore los servicios de asesoramiento en cifrado de Encryption Consulting para evaluar su exposición y desarrollar defensas contra las amenazas impulsadas por la IA.