Rychlý vzestup generativní umělé inteligence odhalil obrovský potenciál, ale také urychluje závody ve zbrojení v oblasti kybernetických hrozeb. Nedávná zpráva OpenAI o hrozbách s názvem „ Narušení škodlivého využití umělé inteligence “ zdůrazňuje nedávné trendy v útokech: útočníci nevymýšlejí zcela nové hrozby (metody útoku), ale místo toho integrují umělou inteligenci do zavedených útočných vektorů, aby dosáhli dramatického zvýšení rozsahu, sofistikovanosti, poškození a utajení.
Zpráva nabízí zajímavé úvahy pro bezpečnostní týmy, manažery, regulační orgány i koncové uživatele. Níže je uveden rozbor zjištění, informace o změnách v oblasti hrozeb a pokyny pro ochranu před kyberkriminalitou poháněnou umělou inteligencí.
Klíčová zjištění ze zprávy
Zde jsou nejdůležitější poznatky z analýzy OpenAI:
Umělá inteligence je multiplikátor efektivity, ne nová magická zbraň. Útočníci využívají umělou inteligenci k zefektivnění operací, generování obsahu, překladů, zasílání zpráv na sociálních sítích, a dokonce i k řízení interních operací. V mnoha případech se „inovace“ nachází v tom, jak rychle dokáží hackeři iterovat, lokalizovat, A/B testovat zprávy nebo vytvářet nové persony, spíše než vymýšlet zcela nové útočné vektory.
Umělá inteligence pomáhá propojit lidské a umělé pracovní postupy Mnoho schémat kombinuje umělou inteligenci s lidským dohledem a kontrolou, nikoli však s plně automatizovanými „AI hackery“. Například když byly přímé výzvy k napsání škodlivého kódu do ChatGPT odmítnuty kvůli bezpečnostním opatřením implementovaným dodavateli AI LLM, hackeři to obešli tak, že požadovali, aby byly specifické stavební bloky nebo komponenty zapsány jako „útržky kódu“, které pak hackeři ručně sestavili do funkčního malwaru.
Státní aktéři intenzivně experimentují s nástroji umělé inteligence OpenAI označila a zablokovala přístup k účtům, u kterých bylo zjištěno, že jsou propojeny se státními skupinami (např. Čína, Rusko, Severní Korea), které využívaly umělou inteligenci k průzkumu, skriptování, ladění kódu, generování obsahu, překladům a ovlivňovacím operacím.dezinformace a dezinformaceZpráva zdůrazňuje, že ačkoli je používání umělé inteligence převážně inkrementální, tato zjištění jsou prvními signály toho, jak hrozby pro národní státy se přizpůsobují našemu světu poháněnému umělou inteligencí.
Podvodné sítě a pracovní podvody s využitím umělé inteligence Zpráva podrobně popisuje několik případových studií, ve kterých podvodná centra (v Myanmaru, Kambodži atd.) používala umělou inteligenci k vytváření falešných biografií vedoucích pracovníků, psaní zpráv ve více jazycích a k řízení provozu. Jedním z pozitivních zjištění v této zprávě bylo, že OpenAI odhaduje, že lidé používají ChatGPT k… odhalit or Vet podvody třikrát častěji než jej útočníci používají k vytváření a provozování podvodů.
Problémy s „dvojím použitím“ v šedé zóně jsou reálné a pro dodavatele umělé inteligence je obtížné se proti nim chránit. Mnoho škodlivých aktivit překračuje hranici mezi legitimním a nelegálním použitím, např. žádosti o pomoc s kryptografií, ladění kódu nebo publikovaný výzkum. Tyto požadavky se mohou na první pohled zdát neškodné, ale mohou být rychle přesměrovány ke škodlivým cílům. Zpráva zdůrazňuje složitost rozlišování záměru a obtíže, které mají dodavatelé umělé inteligence při budování vhodných ochranných opatření kolem svých produktů.
Co se mění (a co ne)
Co se mění:
Měřítko a rychlost sociální inženýrství Umělá inteligence umožňuje rychlejší, lokalizovanější a kontextově orientované phishingové kampaně, SMS (smishing) a kampaně s vydáváním se za jiného uživatele. Nástroje jako FraudGPT, WormGPT a podobné modely specifické pro danou doménu urychlují schopnosti aktérů hrozeb. Nicméně některá nedávná hodnocení naznačují, že umělá inteligence dosud revoluční I přes hromadné phishingové kampaně se mnoho útočníků stále spoléhá na osvědčené sady a platformy, které doplňují umělou inteligencí pro tvorbu obsahu, kvalitu jazyka, socializaci a lokalizaci.
Deepfakes, klonování hlasu/videa a zosobnění Schopnost klonovat hlasy nebo obličeje nebo generovat věrohodné deepfake video/audio představuje vysoce rizikové možnosti pro sociální inženýrství a podvody. Video nástroj Sora od OpenAI (a jeho potenciál pro zneužití) již vyvolal značnou pozornost. Klonování hlasu a videa označily FBI, CyberHoot a další bezpečnostní firmy za nově vznikající vektor hrozeb, který je třeba brát vážně a zavést normy a procesy pro boj s těmito útoky. Například zavedení „bezpečnostního slova“ pro autorizaci finančních transakcí, které mohou účastníci udělit pouze ústně.
Nižší vstupní bariéra Umělá inteligence umožňuje i méně zdatným útočníkům provádět útoky. Někdo s minimálními programátorskými dovednostmi by mohl sestavit útok pomocí úryvků kódu nebo řetězců prompts s pomocí umělé inteligence. Demokratizace nástrojů umělé inteligence zvyšuje riziko napříč všemi oblastmi.
Zvýšení nenápadnosti a úhybných mechanismů Útočníci se učí maskovat známky zapojení umělé inteligence, např. tím, že instruují ChatGPT, aby se vyhýbal interpunkčním stylům nebo frázím, které by mohly odhalit strojové generování. Také začleňují umělou inteligenci do modulárních pracovních postupů, aby žádný jednotlivý krok nebyl zjevně podezřelý.
Bariéry v oblasti výpočetní techniky, nasazení a detekce zpomalují přijetí Integrace umělé inteligence do plně autonomních hackerských operací není triviální: hostování modelů, vyhýbání se detekci, integrace do útočné infrastruktury, všechny tyto překážky zpomalují přijetí hackery.
Obranná výhoda je stále možná Umělá inteligence může také posílit obránce prostřednictvím automatizované detekce, monitorování anomálií, analýzy hrozeb, behaviorální analýzy, rychlé sanitace a auditu modelů. Přístup OpenAI k detekci a uzavírání nepřátelských účtů národních států je jen jedním z příkladů.
Nově vznikající rizika a vzorce útoků, které je třeba sledovat
Zde je několik vyvíjejících se nebo nově vznikajících vzorců hrozeb, kterým je třeba věnovat pozornost:
Hrozba / Vzor
Popis
Riziko a příklad
Okamžitá injekce / jailbreak
Útočníci vytvářejí vstupy, které manipulují s tím, jak LLM interpretují systémové a uživatelské instrukce, a obcházejí tak ochranná opatření.
LLM implementovaný do firemního pracovního postupu by mohl být oklamán k úniku interních tajemství nebo ke spuštění škodlivého kódu.
Smishing kampaně pomocí umělé inteligence (ve stylu AbuseGPT)
Využití generativních modelů k tvorbě SMS phishingového obsahu ve velkém měřítku.
Dobře formulovaná SMS zpráva se škodlivým odkazem, který vypadá jako personalizovaný, by mohla vést k převzetí kontroly nad e-mailovým účtem.
Plně agentní systémy umělé inteligence provádějící komplexní operace, včetně psychologických taktik a adaptivních pracovních postupů.
Společnost Anthropic to označila za hlavní vznikající hrozbu, kdy jeden operátor může „zorganizovat“ útok na více domén pomocí agentní umělé inteligence.
Falešné persony, falešné firmy, hluboké sociální příběhy
Využití umělé inteligence k vytváření věrohodných příběhů, osobních historií, profilů na sociálních sítích a komunikačních vzorců.
Útočník by se mohl vydávat za důvěryhodného partnera nebo infiltrovat sociální sítě, aby si postupem času vybudoval důvěryhodnost.
Propojené pracovní postupy umělé inteligence / multifunkční nástroje
Kombinace ChatGPT pro plánování s dalšími modely pro generování, překlad, média nebo hlas.
Kampaň může začít tím, že ChatGPT navrhne phishingový framework, poté použije samostatnou umělou inteligenci pro vícejazyčný překlad a další pro vkládání do videa.
Podvod jako služba / platformy na klíč s umělou inteligencí
Modely Crimeware-as-a-Service (Crimeware jako služba) s funkcemi umělé inteligence.
Podzemní tržiště prodávající phishingové sady s umělou inteligencí, nástroje pro klonování hlasu nebo enginy pro generování obsahu.
Obranné strategie a zmírňování následků
Aby se dodavatelé umělé inteligence a týmy kybernetické bezpečnosti mohli bránit hrozbám vylepšovaným umělou inteligencí, musí vyvinout své přístupy. Zde jsou strategické návrhy, které je třeba zvážit:
1. Posílení obrany proti vstupům/řetězení
Cílová skupina : Dodavatelé AI, Poskytovatelé zákaznických řešení AI
Přijmout filtrování výzev, vstupní sanitace, a ověření kontextu ve všech nástrojích s umělou inteligencí.
Sledujte podezřelé výzvy nebo řetězce, které se přepínají z neškodných požadavků na škodlivé.
Používejte vrstvené zásady k rozlišení systémových instrukcí od uživatelského vstupu.
2. Introspekce a audit modelu
Cílová skupina : Uživatelé a firmy s řešeními umělé inteligence
Zaznamenávejte a auditujte interakce uživatelů se systémy umělé inteligence.
Použijte detekci anomálií k označení neobvyklých vzorců výzev nebo řetězců požadavků.
Pravidelně používejte „červené týmy“ a kontradiktorní testování (včetně okamžitých injekcí).
3. Hybridní dohled člověka a umělé inteligence
Cílová skupina : všichni uživatelé a prodejci umělé inteligence
Udržujte lidi v obraze o vysoce rizikových případech užití (např. generování kódu, bezpečnostní poradenství, externí API).
Zaveďte schvalovací pracovní postupy, když se výstupy umělé inteligence dotýkají kritických systémů nebo dat.
4. Kontroly totožnosti, ověřování médií a detekce deepfake
Cílová skupina : všichni uživatelé a prodejci umělé inteligence
Použijte biometrické kontroly živosti, vodoznaky, štítky původu nebo klasifikátory detekce pomocí umělé inteligence pro identifikaci syntetických médií.
Vyžadovat dodatečné ověření (např. potvrzení mimo pásmo), pokud se média používají v citlivých transakcích.
5. Sdílení a koordinace informací o hrozbách
Sdílejte indikátory kompromitace, výzvy k podpisu a vzorce nepřátelských vztahů napříč organizacemi a dodavateli.
Spolupracujte s dodavateli umělé inteligence na hlášení zneužití a šíření strategií pro zmírnění následků.
6. Školení a povědomí pracovní síly
Cílová skupina : všichni uživatelé a prodejci umělé inteligence
Vzdělávejte zaměstnance o sociálním inženýrství s využitím umělé inteligence, deepfake útocích a ověřovacích protokolech.
Procvičte si rozpoznávání phishingových návnad poháněných umělou inteligencí s pozitivními simulacemi, které vás poučí, a ne vás podvedou.
7. Obrana jako umělá inteligence – využití generativních systémů pro bezpečnost
Cílová skupina : Dodavatelé umělé inteligence vytvářející obranná řešení
Používejte umělou inteligenci k simulaci útoků, zkoumání vkládání promptů, detekci škodlivého obsahu nebo uživatelských promptů.
Vytvořte monitorovací systém založený na umělé inteligenci, který odhalí zneužívání interních nástrojů.
Závěr
Zpráva OpenAI zdůrazňuje jasné poselství: skutečným rizikem není to, zda lze umělou inteligenci zneužít jako zbraň (nápověda: již se tak stalo), ale to, zda jsou lidé , organizace a bezpečnostní ekosystémy připraveny se těmto zesíleným tradičním hrozbám přizpůsobit a bránit se proti nim. Nejlepší cesta vpřed nespočívá v odolávání umělé inteligenci, ale v jejím obranném inženýrství, v jejím navrhování s ohledem na zneužití od samého začátku a v budování kolaborativní obrany napříč hranicí umělé inteligence a kybernetické bezpečnosti. A konečně, panteon útoků se nezměnil, takže vaše tradiční obranné postoje, jako je školení koncových uživatelů, pozitivně zaměřené phishingové simulace a implementace taktických technologií k odhalování a obraně proti těmto útokům, budou i nadále fungovat a budou důležitými opatřeními v našich programech kybernetické bezpečnosti zaměřených na hloubkovou obranu.