Otrava dát (útok otravou)

Otrava dátami je útok, pri ktorom útočník zámerne vkladá škodlivé, zavádzajúce alebo skreslené dáta do trénovacieho, dolaďovacieho alebo spätnoväzobného kanála modelu, aby ovplyvnil správanie modelu. Cieľom je spôsobiť, že model bude produkovať nesprávne, nebezpečné, skreslené alebo útočníkom kontrolované výstupy , či už vo všeobecnosti alebo za špecifických podmienok.

Na rozdiel od útokov založených na prompte sa otrava dátami zameriava na samotný proces učenia . Po začlenení otrávených dát sa model môže správať škodlivo aj pre bežných, legitímnych používateľov.

Toto riziko je obzvlášť akútne v systémoch, ktoré:

• Neustále sa učiť z používateľských vstupov
• Doladenie na základe údajov poskytnutých zákazníkom
• Preškolenie modelov pomocou protokolov, spätnej väzby alebo tiketov podpory

Čo to znamená pre malé a stredné podniky

Pre malé a stredné podniky je otrava dátami často neúmyselná, ale stále nebezpečná.

Medzi kľúčové dôsledky patria:

• Poškodené správanie umelej inteligencie
  Ak sa interné nástroje umelej inteligencie učia z nekontrolovaných vstupov, zamestnanci alebo externí používatelia môžu neúmyselne naučiť model zlému správaniu, nesprávnym politikám alebo nebezpečným pokynom.
• Erózia dôvery
  Akonáhle model začne poskytovať nesprávne alebo škodlivé odpovede, používatelia strácajú dôveru v systém, aj keď je ťažké diagnostikovať hlavnú príčinu.
• Operačné riziko
  Otrávené výstupy môžu viesť k zlým rozhodnutiam, nesprávnym radám alebo nekonzistentnému presadzovaniu politík a postupov.
• Skrytá perzistencia
  Na rozdiel od zlej výzvy môžu otrávené dáta dlhodobo ovplyvniť model, kým sa model nepretrénuje alebo nevráti späť.

Pre malé a stredné podniky je nebezpečenstvo predpokladať, že „učenie sa od používateľov“ je vždy prospešné.

Čo to znamená pre poskytovateľov spravovaných služieb (MSP)

Pre poskytovateľov spravovaných služieb predstavuje otrava dátami vážne riziko pre dodávateľský reťazec a dôveru.

Medzi kľúčové úvahy patrí:

• Kontaminácia medzi klientmi
  Ak sa tréningové dáta zdieľajú medzi nájomníkmi, poškodené dáta z jedného klienta môžu ovplyvniť výstupy pre ostatných.
• Zneužitie údajov klientov
  Prijímanie klientskych tiketov, protokolov alebo dokumentácie do tréningových kanálov bez overenia môže do modelov zaviesť škodlivý alebo citlivý obsah.
• Zodpovednosť a expozícia voči dodržiavaniu predpisov
  Nesprávny model, ktorý poskytuje nebezpečné alebo nesprávne usmernenia, môže mať pre poskytovateľov spravovaných služieb zmluvné, regulačné a právne dôsledky.
• Ťažkosti s pripisovaním
  Útoky s cieľom otráviť dáta sú nenápadné. Často je ťažké určiť, kedy, ako alebo kým boli dáta otrávené.
• Poškodenie dobrého mena
  Klienti očakávajú, že poskytovatelia spravovaných služieb (MSP) budú chrániť nielen dáta, ale aj integritu systémov postavených na týchto dátach.

Praktické jedlo so sebou

Útoky typu otravy dátami ohrozujú to, čo sa model naučí , nielen to, čo sa od neho požaduje.

Pre malé a stredné podniky a poskytovateľov spravovaných služieb:

• Nikdy štandardne nepovažujte údaje poskytnuté používateľom za dôveryhodný tréningový vstup.
• Samostatný vyvodzovacie údaje z tréningové údaje
• Implementujte validáciu, kontrolu a sanitáciu všetkých údajov použitých pri školení alebo dolaďovaní
• Vyhnite sa automatickému preškoleniu na základe vstupov od zákazníkov v reálnom čase
• Udržiavať funkcie verzovania a vrátenia zmien pre modely

---

Ďalšie čítanie:

CyberHoot má k dispozícii aj niekoľko ďalších zdrojov, ktoré môžete použiť. Nižšie sú uvedené odkazy na všetky naše zdroje, neváhajte si ich kedykoľvek pozrieť:

• Blog
• Cybrary (kybernetická knižnica)
• infografiky
• spravodajcu
• Tlačové správy
• Návodné články (Ako na to) – veľmi užitočné pre našich super administrátorov!

---

Zabezpečte si svoje podnikanie s CyberHoot ešte dnes!