Otrava dat (útok otravou)

Otrava dat je útok, při kterém útočník úmyslně vkládá škodlivá, zavádějící nebo zkreslená data do trénovacího, dolaďovacího nebo zpětnovazebního kanálu modelu, aby ovlivnil chování modelu. Cílem je způsobit, že model bude produkovat nesprávné, nebezpečné, zkreslené nebo útočníkem kontrolované výstupy , ať už obecně nebo za specifických podmínek.

Na rozdíl od útoků založených na promptních útocích se otrava dat zaměřuje na samotný proces učení . Jakmile jsou napadená data začleněna, model se může chovat škodlivě i pro běžné, legitimní uživatele.

Toto riziko je obzvláště akutní v systémech, které:

• Neustále se učit z uživatelských vstupů
• Doladění na základě dat poskytnutých zákazníkem
• Přeškolení modelů pomocí protokolů, zpětné vazby nebo tiketů podpory

Co to znamená pro malé a střední podniky

Pro malé a střední podniky je otrava dat často neúmyslná, ale stále nebezpečná.

Mezi klíčové důsledky patří:

• Poškozené chování umělé inteligence
  Pokud se interní nástroje umělé inteligence učí z nekontrolovaných vstupů, zaměstnanci nebo externí uživatelé mohou model neúmyslně naučit špatnému chování, nesprávným zásadám nebo nebezpečným pokynům.
• Eroze důvěry
  Jakmile model začne dávat nesprávné nebo škodlivé odpovědi, uživatelé ztrácejí důvěru v systém, i když je těžké diagnostikovat hlavní příčinu.
• Operační risk
  Zkreslené výstupy mohou vést ke špatným rozhodnutím, nesprávným radám nebo nekonzistentnímu vymáhání politik a postupů.
• Skrytá perzistence
  Na rozdíl od špatného výzvy mohou otrávená data ovlivnit model dlouhodobě, dokud nebude model přetrénován nebo vrácen zpět.

Pro malé a střední podniky je nebezpečím předpoklad, že „učení se od uživatelů“ je vždy prospěšné.

Co to znamená pro poskytovatele spravovaných služeb (MSP)

Pro poskytovatele spravovaných služeb představuje otrava dat vážné riziko pro dodavatelský řetězec a důvěru.

Mezi hlavní úvahy patří:

• Kontaminace mezi klienty
  Pokud jsou školicí data sdílena mezi klienty, mohou kontaminovaná data z jednoho klienta ovlivnit výstupy pro ostatní.
• Zneužití klientských dat
  Ingesce klientských tiketů, protokolů nebo dokumentace do trénovacích kanálů bez ověření může do modelů zavést škodlivý nebo citlivý obsah.
• Odpovědnost a dodržování předpisů
  Zkreslený model, který poskytuje nebezpečné nebo nesprávné pokyny, může mít pro poskytovatele spravovaných služeb smluvní, regulační a právní důsledky.
• Obtížnost atribuce
  Útoky s cílem otrávit data jsou nenápadné. Často je těžké určit, kdy, jak nebo kým byla data otrávena.
• Reputační poškození
  Klienti očekávají, že poskytovatelé spravovaných služeb (MSP) budou chránit nejen data, ale také integritu systémů, které jsou na těchto datech postaveny.

Praktické jídlo s sebou

Útoky typu poisoning dat ohrožují to, co se model naučí , nejen to, co je po něm požadováno.

Pro malé a střední podniky a poskytovatele spravovaných služeb:

• Nikdy ve výchozím nastavení nepovažujte data poskytnutá uživatelem za důvěryhodný školicí vstup.
• Samostatný inferenční data od tréninková data
• Implementujte validaci, kontrolu a sanitizaci všech dat použitých při školení nebo doladění.
• Vyhněte se automatickému přeškolování na základě vstupů od zákazníků v reálném čase
• Udržovat možnosti verzování a vrácení zpět u modelů

---

Další čtení:

CyberHoot nabízí i další zdroje, které můžete využít. Níže uvádíme odkazy na všechny naše zdroje, neváhejte se na ně kdykoli podívat:

• Blog
• Cybrary (kybernetická knihovna)
• infografiky
• Zpravodaje
• Tiskové zprávy
• Instruktážní články (Jak na to) – velmi užitečné pro naše super administrátory!

---

Zabezpečte své podnikání s CyberHootem ještě dnes!