4 Bedrohungen durch generative KI und ihre Abschwächung 

Generative KI (GenAI) erzeugt neue Inhalte aus Trainingsdaten, kann aber von Angreifern missbraucht werden. Die vier Hauptbedrohungen durch GenAI sind Phishing, Deepfakes, Malware-Erstellung und Datenmanipulation. Jede dieser Bedrohungen lässt sich durch eine Kombination aus Verschlüsselung, strengen Zugriffskontrollen, Sensibilisierung der Nutzer, Erkennungstools und der Einhaltung von Rahmenwerken wie dem NIST AI Risk Management Framework abmildern.

Generative KI (GenAI) erzeugt neue Texte, Bilder, Audio- und Videodateien aus großen Trainingsdatensätzen. Obwohl sie ein leistungsstarkes Werkzeug ist, kann sie von Angreifern missbraucht werden. Die vier Hauptbedrohungen durch GenAI sind Phishing, Deepfakes, die Erstellung von Schadsoftware und Datenmanipulation. Jede dieser Bedrohungen lässt sich durch die Kombination von Verschlüsselung , Zugriffskontrollen, Erkennungstools, Sensibilisierung der Nutzer und strukturierten Frameworks wie dem des NIST abmildern.

Wichtige Erkenntnisse

• Generative KI erzeugt neue Inhalte aus Trainingsdaten; dieselbe Fähigkeit, die Unternehmen hilft, kann von Angreifern missbraucht werden.
• Die vier Hauptbedrohungen durch GenAI sind Phishing (überzeugendere Köder), Deepfakes (synthetische Audio- und Videodateien), Malware-Erstellung (KI-generierter, schwer fassbarer Code) und Datenmanipulation (Vergiftung, Verzerrung, gefälschte Inhalte).
• Reale Vorfälle verdeutlichen die Tragweite dieser Angriffe, von KI-gestützten Angriffen auf geschäftliche E-Mails über Deepfake-Stimmenbetrug bis hin zu KI-generierten Malware-Skripten.
• Das NIST definiert das GenAI-Risiko anhand der Aspekte Integrität, Verfügbarkeit und Datenschutz und bietet in SP 800-53, SP 800-37 und dem AI Risk Management Framework (AI 600-1) entsprechende Leitlinien an.
• Zu den wichtigsten Gegenmaßnahmen gehören starke Verschlüsselung, Zugriffskontrollen (MFA, RBAC), Eingabevalidierung, Datenminimierung, Überwachung, Codesignierung und Benutzerschulung.

Was ist generative KI und warum stellt sie ein Sicherheitsrisiko dar?

Generative KI (GenAI) ist ein Teilgebiet der künstlichen Intelligenz, das aus einem Datensatz bekannter Beispiele neue Inhalte wie Texte, Bilder, Audio- und Videodateien generiert. Sie nutzt komplexe Algorithmen und neuronale Netze, die mit sehr großen Datensätzen (manchmal vergleichbar mit dem Umfang des gesamten Internets) trainiert werden, um menschliche Kreativität nachzubilden. Aufgrund der Größe dieser Modelle sind Unternehmen häufig auf Drittanbieter angewiesen, die diese bereitstellen und betreiben. Die Integration von Drittanbieter- APIs erhöht die architektonische Komplexität hinsichtlich Protokollen, Fehlerbehandlung und Datenfluss.

Diese Fähigkeit, riesige Datenmengen zu verarbeiten, vielfältige Anfragen zu beantworten und kontinuierlich zu lernen, nutzen Angreifer aus. GenAI ermöglicht es ihnen, realistische Texte, Grafiken und Audiodateien zu erstellen, ihre Angriffsmethoden zu verfeinern, der Entdeckung zu entgehen und die Unterscheidung zwischen authentischen und gefälschten Inhalten zu erschweren. Die vier unten aufgeführten Bedrohungen verdeutlichen dies besonders deutlich.

Die 4 Hauptbedrohungen der generativen KI

Bedrohung	Wie GenAI missbraucht wird	Kernmaßnahmen zur Minderung der Folgen
Phishing	Erstellt überzeugende, personalisierte gefälschte E-Mails und Nachrichten in großem Umfang	Nutzerbewusstsein, E-Mail-Verifizierung, MFA, Reporting-Tools
Deepfakes	Erzeugt realistische gefälschte Audio- und Videodateien, um Personen zu imitieren	Erkennungswerkzeuge, biometrische und Mehrkanal-Verifizierung, Verschlüsselung
Malware-Erstellung	Schreibt und verändert schwer fassbaren, polymorphen Schadcode.	Patching, Prinzip der minimalen Berechtigungen, EDR, Verhaltenserkennung, Segmentierung
Datenmanipulation	Verfälscht Trainingsdaten, schleust Vorurteile ein, produziert massenhaft gefälschte Inhalte	Überwachung, Datenintegritätsprüfungen, Zugriffskontrollen, Datensicherungen

1. Phishing

Phishing ist eine Form des Social Engineering, bei der betrügerische E-Mails, Nachrichten oder Anrufe so gestaltet werden, dass sie legitim wirken. GenAI macht Phishing-Angriffe deutlich überzeugender: Es kann den Ton und Inhalt echter E-Mails imitieren und die holprige Grammatik entfernen, die früher Betrugsversuche verriet. Erfolgreiches Phishing kann Kontodaten und persönliche Informationen offenlegen und so zu Identitätsdiebstahl, finanziellen Verlusten oder einem Zugang zum Unternehmensnetzwerk führen, über den Angreifer Daten exfiltrieren oder Ransomware einsetzen können. Zu den gezielten Varianten gehören Spear-Phishing (Angriffe auf bestimmte Personen mithilfe persönlicher Daten), Whaling (Angriffe auf Führungskräfte) und Pharming (Umleitung von Nutzern auf betrügerische Websites durch DNS-Manipulation).

Ein gut dokumentiertes Beispiel für Business-E-Mail-Kompromittierung: Zwischen 2013 und 2015 gab sich Evaldas Rimasauskas als vertrauenswürdiger Lieferant aus und versandte gefälschte Rechnungen, wodurch er Google und Facebook dazu brachte, mehr als 100 Millionen Dollar zu zahlen . GenAI erleichtert es, solche Täuschungen in großem Umfang durchzuführen.

Mitigation

Seien Sie wachsam gegenüber Dringlichkeitsbotschaften und Drohungen („Ihr Konto wird geschlossen“), allgemeinen Anreden wie „Sehr geehrter Kunde“, unbekannten Absendern und jeglichen Anfragen nach Passwörtern oder Bankdaten (seriöse Unternehmen fragen nicht auf diese Weise). Klicken Sie nicht auf Links und öffnen Sie keine Anhänge in verdächtigen Nachrichten; überprüfen Sie diese über einen anderen Kanal, melden Sie den Vorfall der IT-Abteilung oder nutzen Sie die Phishing-Meldefunktion Ihres E-Mail-Programms und löschen Sie die Nachricht. Sollten Sie bereits mit der Nachricht interagiert haben, ändern Sie umgehend Ihre Passwörter und überwachen Sie die betroffenen Konten. Strenge Zugriffskontrollen und die Zwei-Faktor-Authentifizierung (2FA) begrenzen den Schaden durch gestohlene Zugangsdaten.

2. Deepfakes

Ein Deepfake ist ein synthetisches Medium, typischerweise Video, Bild oder Audio, das mithilfe von künstlicher Intelligenz (oft mithilfe generativer adversarieller Netzwerke, kurz GANs) erstellt wird, um Gesicht, Stimme und Sprachmuster einer Person hochpräzise nachzubilden. Deepfakes ermöglichen Social Engineering, Betrug und Spear-Phishing und können herkömmliche Verifizierungsmethoden umgehen. Sie werden zunehmend eingesetzt, um Menschen dazu zu verleiten, Überweisungen zu autorisieren oder Schadsoftware herunterzuladen, während sie eine scheinbar legitime Interaktion durchführen. In einem Fall aus dem Jahr 2019 wurde eine Deepfake-Stimme, die die eines Geschäftsführers imitierte, verwendet, um eine betrügerische Überweisung von rund 243,000 US-Dollar zu autorisieren ; seitdem folgten weitere, größere Überweisungsbetrugsfälle mithilfe von Deepfakes.

Mitigation

Achten Sie auf verräterische Anzeichen: ungewöhnliche Gesichtsschatten, unnatürliche Hauttöne, unregelmäßiges Blinzeln, unscharfe Ränder und, bei Audioaufnahmen, asynchrone Lippenbewegungen oder eine roboterhafte Klangqualität. Setzen Sie KI-gestützte Erkennungstools ein; nutzen Sie verschlüsselte Kommunikationsplattformen und sichere Speichermedien für Medien- und Sprachdaten; fordern Sie biometrische oder mehrkanalige Verifizierung für sensible Anfragen; verwenden Sie digitale Wasserzeichen zur Authentifizierung firmeneigener Medien; überwachen Sie den Missbrauch von Firmenmedien; schulen Sie Ihre Mitarbeiter; und halten Sie einen Notfallplan für Deepfake-Vorfälle bereit.

3. Malware-Erstellung

Malware ist Software, die darauf ausgelegt ist, Systeme zu schädigen, auszunutzen oder zu stören. Künstliche Intelligenz (KI) senkt die technischen Hürden für ihre Entwicklung, sodass selbst unerfahrene Akteure Schadcode erstellen können. KI-gestützte Malware kann zudem komplexe, polymorphe Malware automatisieren, die ihre Struktur ständig verändert, um einer Erkennung zu entgehen. Mithilfe von Angriffstechniken kann Malware Endpoint Detection and Response (EDR), Firewalls und Antivirenprogramme umgehen und zur Entwicklung von Ransomware oder Exploit-Skripten beitragen. Zu den gängigen Malware-Arten gehören Viren, Würmer, Trojaner, Ransomware, Spyware, Adware, Rootkits, Keylogger, Botnetze und dateilose Malware.

Lieferkettenvorfälle verdeutlichen das Schadenspotenzial. Beim Kaseya- Angriff (Juli 2021) nutzte die REvil-Gruppe eine Schwachstelle in Kaseyas VSA-Software aus, um Ransomware an rund 1,500 Unternehmen zu verbreiten und 70 Millionen US-Dollar zu fordern. Der SolarWinds- Angriff (2020) schleuste Schadcode in Orion-Software-Updates ein und betraf damit etwa 18,000 Organisationen, darunter auch US-Regierungsbehörden. Künstliche Intelligenz beschleunigt die Entstehung genau solcher Bedrohungen.

Mitigation

Setzen Sie auf eine mehrschichtige Verteidigung: Patchen Sie Software und Betriebssysteme umgehend; wenden Sie das Prinzip der minimalen Berechtigungen an; nutzen Sie Verhaltenserkennung, um Malware aufzuspüren, die Signaturen umgeht; testen und prüfen Sie mit simulierten Angriffen; führen Sie eine kontinuierliche Endpunktüberwachung mit EDR durch; verwenden Sie Zulassungslisten für Anwendungen; segmentieren Sie Netzwerke, um die Ausbreitung einzudämmen; setzen Sie auf Cloud-basierte Sicherheit; erstellen Sie automatisierte, getestete Backups zur Wiederherstellung; und schulen Sie die Benutzer, da menschliches Versagen ein Hauptvektor für Malware ist.

4. Datenmanipulation

GenAI kann zur Verzerrung von Daten und Wahrnehmungen missbraucht werden. Modelle können Verzerrungen aus Trainingsdaten übernehmen und so zu verzerrten oder diskriminierenden Ergebnissen führen. Sie können auch dazu eingesetzt werden, überzeugende gefälschte Rezensionen, Erfahrungsberichte und andere Inhalte zu erstellen, die Meinungen manipulieren oder einer Marke schaden. Ein spezifisches technisches Risiko ist die Datenvergiftung , bei der Angreifer schädliche Daten in den Trainingsdatensatz eines Modells einschleusen, sodass dieses falsche oder schädliche Ergebnisse liefert. Große Sprachmodelle geben zudem Anlass zu Datenschutzbedenken, da ihre Trainingsdaten, die häufig aus dem Internet stammen, personenbezogene Daten (PII) enthalten können, die ohne Einwilligung erhoben wurden.

Historische Beispiele hierfür sind der Tay-Chatbot von Microsoft, der von Nutzern innerhalb weniger Stunden nach dem Start dazu manipuliert wurde, anstößige Inhalte zu veröffentlichen, und der Twitter-Bitcoin-Betrug von 2020, bei dem Angreifer hochkarätige Konten kaperten, um einen Kryptowährungsbetrug zu fördern, was das Vertrauen in die Integrität der Plattform und die Kontosicherheit beschädigte.

Mitigation

Achten Sie auf ungewöhnliche Aktivitäten wie unerwartete Datenänderungen oder plötzliche Zugriffsspitzen auf sensible Informationen und prüfen Sie Protokolle auf unautorisierte Änderungen. Gleichen Sie die Daten mit vertrauenswürdigen Quellen ab und analysieren Sie die Metadaten auf Anzeichen von Manipulation. Sollten Manipulationen festgestellt werden, isolieren Sie die betroffenen Systeme, untersuchen Sie Quelle und Ausmaß, benachrichtigen Sie die Beteiligten, stellen Sie Daten aus verifizierten, sauberen Backups wieder her, führen Sie ein umfassendes Sicherheitsaudit durch, um die ausgenutzte Sicherheitslücke zu schließen, und verstärken Sie Überwachung und Authentifizierung. Beachten Sie dabei stets die geltenden rechtlichen und regulatorischen Bestimmungen.

NIST-Leitfaden zum GenAI-Risiko

Das NIST beschreibt Bedrohungen für GenAI-Systeme anhand von drei Prinzipien und bietet strukturierte Leitlinien für deren Bewältigung an:

• Integrität: Die Gewährleistung der Genauigkeit und Vertrauenswürdigkeit von Daten und Systemen ist entscheidend. Zu den Integritätsrisiken von GenAI gehören Datenmanipulation, Deepfakes und Fake News, Modellmanipulation und Datenvergiftung (das Einschleusen schädlicher Daten in das Training, sodass das Modell falsche Ergebnisse liefert).
• Verfügbarkeit: Die Verfügbarkeit von Diensten und Daten muss bei Bedarf sichergestellt werden. Zu den Risiken zählen Denial-of-Service- (DoS) und Distributed-Denial-of-Service-Angriffe (DDoS), die KI-abhängige Prozesse stören oder zum Erliegen bringen können. Die Sicherung von KI-Modellen und ihren Datenbanken gewährleistet die Ausfallsicherheit kritischer Aufgaben.
• Datenschutz: Schutz personenbezogener Daten (PII) und Einhaltung von Gesetzen wie Datenschutz und CCPA. Zu den Datenschutzrisiken von GenAI gehören Datenlecks, bei denen sensible Daten unbeabsichtigt offengelegt werden, und die Extraktion von Eingabeaufforderungen oder Systemkontexten, bei der Modelle unbeabsichtigt vertrauliche Daten preisgeben, die in Eingabeaufforderungen oder früheren Interaktionen eingebettet sind.

Das NIST veröffentlicht außerdem Leitlinien, die Organisationen direkt anwenden können:

• NIST-SP 800-53 (Sicherheits- und Datenschutzkontrollen) bietet ein strukturiertes Kontrollset für verschiedene Bereiche wie Zugriffskontrolle, System- und Kommunikationsschutz sowie Reaktion auf Sicherheitsvorfälle.
• NIST-SP 800-37 Das Risikomanagement-Framework dient als Leitfaden für die Bewertung, Implementierung und kontinuierliche Überwachung von Sicherheitsmaßnahmen über den gesamten Lebenszyklus eines Systems hinweg.
• NIST AI 600-1 (Das Generative AI-Profil des AI Risk Management Frameworks) befasst sich mit GenAI-spezifischen Risiken, einschließlich Datenschutz, Modellverzerrung, Transparenz, Rechenschaftspflicht und Ethik.

Die wichtigsten Strategien zum Schutz vor GenAI-Bedrohungen

• Strenge Eingabevalidierung: Prüfen Sie eingehende Daten, damit bösartige oder fehlerhafte Eingaben Ihr System nicht beschädigen können.
• Verschlüsselung: Verschlüsseln Sie sensible Daten, damit sie auch dann geschützt bleiben, wenn Angreifer Zugriff erlangen; nur Inhaber des Entschlüsselungsschlüssels können sie lesen.
• Anmeldeinformationen schützen: Geheimnisse sollten in sicheren Tresoren aufbewahrt, Schlüssel regelmäßig ausgetauscht und Zugriffskontrollen für API-Schlüssel und Token durchgesetzt werden.
• Redundanz und Ausfallsicherheit: Sorgen Sie für Backup-Systeme, damit die Dienste auch dann verfügbar bleiben, wenn eine Komponente ausfällt.
• Stresstest: Simulieren Sie anormalen Datenverkehr und maximale Lastfälle, um architektonische Schwachstellen zu finden, bevor Angreifer dies tun.
• Codesignierung mit Datenschutzprüfungen: Software sollte digital signiert werden, um ihre Authentizität und Integrität zu gewährleisten, und es sollten regelmäßig Datenschutzprüfungen der Benutzerdaten durchgeführt werden.
• DDoS-Abwehr: Nutzen Sie Firewalls und Tools zur Verkehrsanalyse, um ungewöhnliche Muster zu erkennen und die Verfügbarkeit der Dienste aufrechtzuerhalten.
• Datenminimierung: Es werden nur die notwendigen Daten erhoben und gespeichert, um das Risiko bei einem Datenleck zu minimieren.
• Strenge Zugangskontrollen: Multi-Faktor-Authentifizierung erzwingen (MFAund rollenbasierte Zugriffskontrolle (RBAC), damit nur autorisierte Benutzer Zugriff auf sensible Daten erhalten.

Wie Verschlüsselungsberatung hilft

Angesichts der sich ständig weiterentwickelnden KI-gestützten Bedrohungen unterstützt Encryption Consulting Unternehmen mit seinen Verschlüsselungsberatungsdiensten bei der Reaktion. Durch Datenanalyse lokalisieren wir strukturierte und unstrukturierte sensible Daten und entwickeln Strategien zu deren Sicherung. Unsere Risikobewertungen identifizieren Schwachstellen und bieten maßgeschneiderte Gegenmaßnahmen. Wir entwickeln Rahmenwerke, Governance-Strukturen und Überwachungssysteme für den Datenschutz, um die Sicherheit zu stärken und die Einhaltung von Vorschriften zu gewährleisten. Darüber hinaus unterstützen wir die Integration von Verschlüsselung, Zugriffskontrolle und Schlüsselmanagement, die die Grundlage für die Abwehr KI-gestützter Angriffe bilden. Unsere Dienstleistungen basieren auf ISO/IEC 27001:2022- und SOC 2-zertifizierten Verfahren.

Häufig gestellte Fragen

Was sind die größten Gefahren der generativen KI?

Die vier Hauptbedrohungen sind Phishing, Deepfakes, Malware-Erstellung und Datenmanipulation. GenAI macht Phishing-Nachrichten überzeugender, generiert realistische Deepfake-Audio- und -Videodateien für Betrug und Identitätsdiebstahl, hilft bei der Entwicklung schwer erkennbarer Malware, selbst für Angreifer mit geringen Kenntnissen, und ermöglicht Datenmanipulationen wie das Verfälschen von Trainingsdaten oder die massenhafte Produktion gefälschter Inhalte. Für jede Bedrohung gibt es etablierte Gegenmaßnahmen, und Frameworks wie das NIST AI Risk Management Framework unterstützen Unternehmen bei deren systematischem Management.

Wie macht generative KI Phishing gefährlicher?

Generative KI beseitigt die holprige Grammatik und die generische Formulierung, die Phishing-Angriffe früher verrieten. Sie kann den Ton und Stil legitimer E-Mails imitieren und Nachrichten mithilfe extrahierter Daten in großem Umfang personalisieren. Dadurch werden Spear-Phishing-Angriffe und Business-E-Mail-Kompromittierungen deutlich überzeugender. Dies erhöht die Erfolgsquote von Angriffen, die Zugangsdaten stehlen oder Finanzabteilungen zu betrügerischen Zahlungen verleiten. Zu den Gegenmaßnahmen gehören die Sensibilisierung der Nutzer, die Überprüfung von Anfragen über separate Kanäle, Multi-Faktor-Authentifizierung (MFA) und Phishing-Meldesysteme.

Was ist ein Deepfake und wie kann man sich davor schützen?

Ein Deepfake ist synthetisches Audio-, Video- oder Bildmaterial, das mithilfe generativer KI erstellt wird, um eine reale Person überzeugend zu imitieren. Es wird häufig für Betrug und Social Engineering eingesetzt, beispielsweise für sprachbasierte Überweisungsbetrügereien. Zu den Schutzmaßnahmen gehören KI-gestützte Erkennungstools, die auf visuelle und akustische Artefakte achten (ungewöhnliches Blinzeln, unscharfe Ränder, asynchrone Lippenbewegungen), biometrische oder Mehrkanal-Verifizierung für sensible Anfragen, verschlüsselte Kommunikation, Wasserzeichen für proprietäre Medien und die Schulung von Mitarbeitern, um verdächtige Deepfakes zu erkennen und zu melden.

Kann generative KI Schadsoftware erzeugen?

Ja. Generative KI kann die für die Entwicklung von Schadcode erforderlichen Kenntnisse reduzieren und die Erstellung polymorpher Malware automatisieren, die sich ständig verändert, um signaturbasierte Erkennung zu umgehen. KI-gestützte Malware kann Angriffstechniken nutzen, um EDR, Firewalls und Antivirenprogramme zu umgehen und Ransomware oder Exploit-Skripte zu entwickeln. Der Schutz davor erfordert mehrschichtige Sicherheitsmaßnahmen: zeitnahes Patchen, minimale Rechtevergabe, Verhaltenserkennung, EDR, Netzwerksegmentierung, geprüfte Backups und Benutzerschulungen.

Was empfiehlt das NIST für die Sicherheit generativer KI?

Das NIST definiert die Bedrohungen durch GenAI anhand der drei Prinzipien Integrität, Verfügbarkeit und Datenschutz und bietet strukturierte Leitlinien. SP 800-53 beschreibt Sicherheits- und Datenschutzmaßnahmen, SP 800-37 definiert ein Risikomanagement-Framework zur Bewertung und Überwachung dieser Maßnahmen, und NIST AI 600-1 (das GenAI-Profil des KI-Risikomanagement-Frameworks) behandelt GenAI-spezifische Aspekte wie Datenschutz, Modellverzerrungen, Transparenz, Verantwortlichkeit und Ethik. Zusammen bieten sie Organisationen eine systematische Methode zum Management von KI-Risiken.

Wie können sich Organisationen vor Bedrohungen durch generative KI schützen?

Zu den wichtigsten Schutzmaßnahmen gehören eine strenge Eingabevalidierung, die Verschlüsselung sensibler Daten, die sichere Aufbewahrung von Zugangsdaten in geschützten Tresoren mit Schlüsselrotation, der Aufbau von Redundanz und Ausfallsicherheit, Stresstests gegen Angriffe, die Verwendung von Codesignierung mit Datenschutzprüfungen, die Abwehr von DDoS-Angriffen durch Firewalls und Verkehrsanalyse, die Minimierung der erfassten Daten sowie die Durchsetzung strenger Zugriffskontrollen wie MFA und rollenbasierte Zugriffskontrolle (RBAC). In Kombination mit Benutzerschulungen und der Einhaltung der NIST-Richtlinien begegnen diese Maßnahmen den wichtigsten Bedrohungen durch GenAI, ohne die Produktivität zu beeinträchtigen.

Schützen Sie Ihr Unternehmen vor KI-gesteuerten Bedrohungen.

Generative KI erhöht die Anforderungen an Sicherheit, Datenschutz und Vertrauen. Doch die richtige Verschlüsselung, Zugriffskontrollen und Überwachung schützen Ihr Unternehmen. Nutzen Sie die Verschlüsselungsberatungsdienste von Encryption Consulting , um Ihr Risiko zu analysieren und sich gegen KI-gesteuerte Bedrohungen zu verteidigen.