Príklad adverzárneho systému / Kontraverzálne strojové učenie

Príklad adverzárneho systému / Adverzárne strojové učenie (Adversarial ML) označuje techniky, pri ktorých útočníci zámerne manipulujú so vstupnými údajmi, aby oklamali umelú inteligenciu alebo model strojového učenia a prinútili ju robiť nesprávne rozhodnutia, často bez toho, aby bola manipulácia pre ľudí zrejmá.

Príkladom kontradiktórnosti je skutočný vstup, ktorý bol jemne zmenený. Napríklad obrázok, ktorý sa osobe javí ako značka stop, môže byť upravený malými, takmer neviditeľnými spôsobmi tak, že ho systém umelej inteligencie nesprávne klasifikuje ako niečo úplne iné.

Jednoducho povedané, adversarial ML využíva skutočnosť, že systémy umelej inteligencie „vidia“ vzory inak ako ľudia a tieto vzory sa dajú manipulovať.

Ako to vyzerá v praxi

Útočníci môžu:

• Pridajte k obrázkom, zvuku alebo textu malé poruchy, ktoré mätú modely umelej inteligencie
• Upravte phishingové e-maily tak, aby obchádzali detekčné systémy založené na umelej inteligencii
• Tréningové dáta otráviť, aby sa model časom naučil nesprávne správanie
• Vytvorte vstupy špeciálne navrhnuté tak, aby sa vyhli detekcii podvodov, detekcii škodlivého softvéru alebo overovacím systémom

Prečo je to dôležité pre malé a stredné podniky a poskytovateľov spravovaných služieb (MSP)

Pre malé a stredné podniky (MSP) a poskytovateľov spravovaných služieb (MSP) sa to stáva veľmi relevantným, pretože umelá inteligencia je teraz zabudovaná do mnohých bezpečnostných nástrojov.

1. Obrana poháňaná umelou inteligenciou sa dá obísť
   Mnohé moderné nástroje sa spoliehajú na strojové učenie pre:

• Filtrovanie e-mailov
• Detekcia a reakcia na koncový bod (EDR)
• Odhaľovanie podvodov

Nepriateľské vstupy môžu prekročiť tieto obranné mechanizmy bez spustenia upozornení.

2. Phishingové útoky sú účinnejšie
   Útočníci dokážu vytvoriť e-maily, ktoré sa cielene vyhýbajú spamovým filtrom s umelou inteligenciou, čím sa zvyšuje pravdepodobnosť, že ich zamestnanci uvidia a budú s nimi komunikovať.
3. Bezpečnostné nástroje môžu vyvolávať falošnú dôveru
   Organizácie môžu predpokladať, že nástroje založené na umelej inteligencii sú „inteligentnejšie“ a ťažšie sa obchádzajú, no v skutočnosti predstavujú nové možnosti útoku.
4. Riziká integrity údajov
   Ak útočníci dokážu ovplyvniť tréningové dáta, môžu časom znížiť účinnosť systémov umelej inteligencie, najmä v systémoch, ktoré sa neustále učia.

Príklad z reálneho sveta

Filter e-mailov s umelou inteligenciou je naučený na detekciu phishingových e-mailov na základe vzorcov.

Útočník:

• Mierne mení znenie, formátovanie alebo kódovanie
• Používa starostlivo vytvorený jazyk, ktorý sa vyhýba známym detekčným funkciám

Výsledok:

• E-mail vyzerá pre filter normálne
• Pristane v doručenej pošte používateľa
• Používateľ klikne, čo vedie k kompromitácii

Čo by mali robiť malé a stredné podniky a poskytovatelia spravovaných služieb (MSP)

• Nespoliehajte sa výlučne na bezpečnostné nástroje založené na umelej inteligencii
  Prekryte obranu tradičnými kontrolami a ľudským povedomím.
• Pokračovať v dôkladnom školení o bezpečnosti
  Používatelia zostávajú kľúčovou obrannou líniou, najmä proti phishingu s využitím umelej inteligencie.
• Overiť dodávateľov
  Opýtajte sa, ako ich modely umelej inteligencie zvládajú útoky nepriateľov a či ich testujú.
• Monitorujte anomálie, nielen podpisy
  Monitorovanie založené na správaní dokáže zachytiť to, čo klasifikácia umelou inteligenciou prehliada.
• Vstupy kontrolných údajov
  Chráňte zdroje údajov o školeniach a v prípade potreby obmedzte vystavenie manipulácii.

Sčítané a podčiarknuté

Kontradiktorné strojové učenie (ML) priamo nenarúša systémy umelej inteligencie, ale nenápadne s nimi manipuluje. Pre malé a stredné podniky a poskytovateľov spravovaných služieb (MSP) je riziko nenápadné, ale vážne: útočníci dokážu obísť „inteligentnú“ obranu bez spustenia alarmov, vďaka čomu je viacvrstvové zabezpečenie a informovanosť používateľov dôležitejšia ako kedykoľvek predtým, a to aj napriek modelom, ktoré používajú alebo podporujú, a starostlivému zaobchádzaniu s údajmi klientov.

---

Ďalšie čítanie:

CyberHoot má k dispozícii aj niekoľko ďalších zdrojov, ktoré môžete použiť. Nižšie sú uvedené odkazy na všetky naše zdroje, neváhajte si ich kedykoľvek pozrieť:

• Blog
• Cybrary (kybernetická knižnica)
• infografiky
• spravodajcu
• Tlačové správy
• Návodné články (Ako na to) – veľmi užitočné pre našich super administrátorov!

---

Zabezpečte si svoje podnikanie s CyberHoot ešte dnes!