De snelle opkomst van generatieve AI biedt enorme mogelijkheden, maar versnelt tegelijkertijd de wapenwedloop op het gebied van cyberdreigingen. Het recente dreigingsrapport " Disrupting Malicious Uses of AI " van OpenAI belicht recente aanvalstrends: tegenstanders bedenken niet langer volledig nieuwe dreigingen (aanvalsmethoden), maar integreren AI in bestaande aanvalsvectoren om de schaal, verfijning, schade en heimelijkheid van hun aanvallen drastisch te vergroten.
Het rapport biedt interessante overwegingen voor beveiligingsteams, leidinggevenden, toezichthouders en eindgebruikers. Hieronder vindt u een overzicht van de bevindingen, de veranderingen in het dreigingslandschap en richtlijnen voor bescherming tegen door AI aangestuurde cybercriminaliteit.
Belangrijkste bevindingen uit het rapport
Dit zijn de meest opvallende observaties uit de analyse van OpenAI:
AI is een efficiëntievermenigvuldiger, geen magisch nieuw wapen Dreigingsactoren gebruiken AI om processen, contentgeneratie, vertaling, berichten op sociale media en zelfs het beheer van interne processen te stroomlijnen. In veel gevallen schuilt de 'innovatie' in de snelheid waarmee hackers berichten kunnen herhalen, lokaliseren, A/B-testen of nieuwe persona's kunnen creëren, in plaats van gloednieuwe aanvalsvectoren te bedenken.
AI helpt menselijke en AI-workflows te combineren In plaats van volledig geautomatiseerde "AI-hackers", combineren veel programma's AI met menselijk toezicht en controle. Toen bijvoorbeeld directe kwaadaardige codeprompts die naar ChatGPT werden gestuurd, werden afgewezen vanwege beveiligingsmaatregelen van AI LLM-leveranciers, omzeilden hackers dit door te vragen om specifieke bouwstenen of componenten te schrijven als "codefragmenten". Deze werden vervolgens handmatig samengevoegd tot een functioneel stuk malware.
Actoren met staatsbanden experimenteren volop met AI-tools OpenAI heeft de toegang tot accounts gemarkeerd en geblokkeerd die gekoppeld bleken te zijn aan staatsgelieerde groepen (bijvoorbeeld China, Rusland, Noord-Korea) die AI gebruikten voor verkenning, scripting, code-debuggen, contentgeneratie, vertalingen en beïnvloedingsoperaties (disinformatie en desinformatieHet rapport benadrukt dat hoewel het gebruik van AI grotendeels incrementeel is, deze bevindingen vroege signalen zijn van hoe bedreigingen door natiestaten passen zich aan onze door AI aangestuurde wereld aan.
Oplichtingsnetwerken en arbeidsfraude met behulp van AI Het rapport beschrijft verschillende casestudies waarin oplichtingscentra (in Myanmar, Cambodja, enz.) AI gebruikten om valse biografieën van leidinggevenden te genereren, berichten in meerdere talen te versturen en de bedrijfsvoering te beheren. Een positieve bevinding in dit rapport was dat OpenAI schat dat mensen ChatGPT gebruiken om opsporen or weten oplichting drie keer vaker dan dat kwaadwillenden het gebruiken om oplichting te creëren en uit te voeren.
De uitdagingen op het gebied van ‘dubbel gebruik’ in grijze gebieden zijn reëel en het is voor AI-leveranciers moeilijk om zich ertegen te beschermen. Veel kwaadaardige activiteiten bewegen zich op de grens tussen legitiem en illegaal gebruik, zoals het vragen om hulp bij cryptografie, het debuggen van code of gepubliceerd onderzoek. Deze verzoeken lijken op het eerste gezicht onschuldig, maar kunnen al snel worden omgeleid naar schadelijke doeleinden. Het rapport onderstreept de complexiteit van het onderscheiden van intenties en de moeite die AI-leveranciers hebben met het bouwen van passende beschermingsmaatregelen voor hun producten.
Wat verandert er (en wat niet)
Wat verandert er:
Schaal en snelheid van social engineering AI maakt snellere, meer gelokaliseerde en contextbewuste phishing-campagnes, sms-berichten (smishing) en imitatiecampagnes mogelijk. Hulpmiddelen zoals FraudeGPT, WormGPT en vergelijkbare domeinspecifieke modellen versnellen de mogelijkheden van bedreigingsactoren. Dat gezegd hebbende, suggereren sommige recente beoordelingen dat AI nog niet revolutie Bij grootschalige phishingcampagnes vertrouwen veel aanvallers nog steeds op beproefde kits en platforms, aangevuld met AI voor het maken van content, de taalkwaliteit, socialisatie en lokalisatie.
Deepfakes, stem-/videoklonen en imitatie De mogelijkheid om stemmen of gezichten te klonen, of om geloofwaardige deepfake-video's en -audio te genereren, brengt een hoog risico met zich mee voor social engineering en fraude. OpenAI's Sora-videotool (en de mogelijkheid tot misbruik) heeft al veel aandacht gekregen. Het klonen van stem- en videosignalen wordt door de FBI, CyberHoot en andere beveiligingsbedrijven aangemerkt als een opkomende dreigingsvector die serieus genomen moet worden en waarvoor normen en processen moeten worden opgesteld om deze aanvallen te bestrijden. Bijvoorbeeld door een 'safeword' in te stellen voor de autorisatie van financiële transacties, dat alleen mondeling door deelnemers kan worden uitgesproken.
Lagere toetredingsdrempel AI stelt zelfs minder ervaren aanvallers in staat om aanvallen uit te voeren. Iemand met minimale programmeervaardigheden zou een aanval kunnen knutselen met behulp van AI-ondersteunde codefragmenten of prompt chains. De democratisering van AI-tools verhoogt het risico over de hele linie.
Toenemende stealth en ontwijking Aanvallers leren tekenen van AI-betrokkenheid te maskeren, bijvoorbeeld door ChatGPT te instrueren om leestekens of formuleringen te vermijden die machinegeneratie zouden kunnen verraden. Ze integreren AI ook in modulaire workflows, zodat geen enkele stap openlijk verdacht is.
Belemmeringen op het gebied van berekeningen, implementatie en detectie vertragen de acceptatie Het integreren van AI in volledig autonome hackoperaties is niet eenvoudig: modelhosting, detectie vermijden, integratie in aanvalsinfrastructuur; al deze obstakels vertragen de acceptatie door hackers.
Defensief voordeel blijft haalbaar AI kan verdedigers ook versterken door middel van geautomatiseerde detectie, anomaliemonitoring, dreigingsinformatie, gedragsanalyse, snelle sanering en modelauditing. De aanpak van OpenAI voor het detecteren en uitschakelen van vijandige accounts van staten is slechts één voorbeeld.
Opkomende risico's en aanvalspatronen om in de gaten te houden
Hieronder staan enkele evoluerende of opkomende bedreigingspatronen waar u op moet letten:
Bedreiging / Patroon
Beschrijving
Risico & Voorbeeld
Snelle injectie / jailbreak
Aanvallers maken invoer die de manier manipuleert waarop LLM's systeem- versus gebruikersinstructies interpreteren, en omzeilen daarmee de beveiliging.
Een LLM die is ingebed in de bedrijfsworkflow, kan ertoe worden verleid interne geheimen te lekken of schadelijke code uit te voeren.
Smishing-campagnes via AI (AbuseGPT-stijl)
Gebruik generatieve modellen om op grote schaal sms-phishingcontent te creëren.
Een goed geformuleerd sms-bericht met een schadelijke link die gepersonaliseerd lijkt, kan ertoe leiden dat uw e-mailadres wordt overgenomen.
“Vibe-hacking” / misbruik van agentische AI
Volledig agentische AI-systemen die end-to-end-bewerkingen uitvoeren, inclusief psychologische tactieken en adaptieve workflows.
Anthropic heeft dit aangemerkt als een grote opkomende dreiging, waarbij één operator een multi-domeinaanval kan 'orkestreren' met behulp van agentische AI.
Gebruik van AI om aannemelijke achtergrondverhalen, persoonlijke geschiedenissen, sociale mediaprofielen en communicatiepatronen te creëren.
Een bedreigende actor kan zich voordoen als een vertrouwde partner of sociale netwerken infiltreren om in de loop van de tijd geloofwaardigheid op te bouwen.
Cross-tool/gekoppelde AI-workflows
ChatGPT voor planning combineren met andere modellen voor generatie, vertaling, media of spraak.
Een campagne kan beginnen met ChatGPT dat een phishingframework ontwerpt en vervolgens een aparte AI gebruikt voor meertalige vertalingen en een andere voor het insluiten in video's.
Crimeware-as-a-service-modellen gebundeld met AI-mogelijkheden.
Een ondergrondse marktplaats waar op AI gebaseerde phishingkits, hulpmiddelen voor het klonen van stemgeluid en engines voor het genereren van content worden verkocht.
Defensieve strategieën en mitigaties
Om AI-versterkte bedreigingen te bestrijden, moeten AI-leveranciers en cybersecurityteams hun aanpak aanpassen. Hier zijn enkele strategische suggesties om te overwegen:
1. Versterk de input-/chaining-verdediging
Doelgroep : AI-leveranciers, aanbieders van AI-oplossingen voor klanten
adopteren snelle filtering, invoer ontsmettingen contextvalidatie in alle AI-aangedreven tools.
Let op verdachte prompts of ketens die van onschuldige naar kwaadaardige verzoeken omslaan.
Gebruik gelaagde beleidsregels om onderscheid te maken tussen systeeminstructies en gebruikersinvoer.
2. Modelintrospectie en auditing
Doelgroep : Gebruikers van AI-oplossingen en bedrijven
Registreer en controleer gebruikersinteracties met AI-systemen.
Gebruik anomaliedetectie om ongebruikelijke promptpatronen of aanvraagketens te markeren.
Maak periodiek gebruik van ‘red-teaming’ en vijandige tests (inclusief snelle injecties).
3. Hybride toezicht van mens en AI
Doelgroep : alle AI-gebruikers en -leveranciers
Houd mensen op de hoogte bij use cases met een hoog risico (bijvoorbeeld codegeneratie, beveiligingsadvies, externe API's).
Pas goedkeuringsworkflows toe wanneer AI-resultaten kritieke systemen of gegevens raken.
4. Identiteitscontroles, mediaverificatie en deepfake-detectie
Doelgroep : alle AI-gebruikers en -leveranciers
Gebruik biometrische levendigheidscontroles, watermerken, herkomsttags of AI-detectieclassificaties om synthetische media te identificeren.
Vereis aanvullende validatie (bijvoorbeeld out-of-band-bevestiging) wanneer media worden gebruikt bij gevoelige transacties.
5. Delen en coördineren van dreigingsinformatie
Deel indicatoren van inbreuken, snelle handtekeningen en vijandige patronen tussen organisaties en leveranciers.
Werk samen met AI-leveranciers om misbruik te melden en strategieën voor risicobeheersing te verspreiden.
6. Training en bewustwording van de werknemers
Doelgroep : alle AI-gebruikers en -leveranciers
Informeer medewerkers over AI-gestuurde social engineering, deepfake-aanvallen en verificatieprotocollen.
Oefen met het herkennen van door AI aangedreven phishing-aanvallen met behulp van positieve simulaties die je iets leren in plaats van je te misleiden.
7. Verdediging als AI – het benutten van generatieve systemen voor beveiliging
Doelgroep : AI-leveranciers die defensieve oplossingen ontwikkelen
Gebruik AI om aanvallen te simuleren, te zoeken naar prompt-injecties en schadelijke inhoud of gebruikersprompts te detecteren.
Bouw AI-gebaseerde monitoring waarmee u kunt zien wanneer interne hulpmiddelen verkeerd worden gebruikt.
Conclusie
Het rapport van OpenAI onderstreept een duidelijke boodschap: het echte risico is niet of AI als wapen kan worden ingezet (hint: dat is al gebeurd), maar of mensen , organisaties en beveiligingssystemen voorbereid zijn om zich aan te passen aan en zich te verdedigen tegen deze versterkte traditionele dreigingen. De beste weg voorwaarts ligt niet in het weerstaan van AI, maar in het defensief ontwerpen ervan, vanaf het begin rekening houdend met misbruik, en het opbouwen van gezamenlijke verdedigingsmechanismen op het snijvlak van AI en cybersecurity. Tot slot is het scala aan aanvallen niet veranderd, dus uw traditionele verdedigingsstrategieën, zoals bewustmakingstrainingen voor eindgebruikers, gerichte phishing-simulaties en de implementatie van tactische technologieën om deze aanvallen te detecteren en af te weren, blijven effectief en belangrijke maatregelen in onze gelaagde cybersecurityprogramma's.