Otrava dat (útok otravou)

10. prosince 2025 | Cybrary

Otrava daty je útok, při kterém protivník úmyslně vkládá škodlivá, zavádějící nebo zkreslená data do trénovacího, dolaďovacího nebo zpětnovazebního procesu modelu, aby se ovlivnilo chování modelu. Cílem je dosáhnout toho, aby model produkoval nesprávné, nebezpečné, zkreslené nebo útočníkem ovládané výstupy, ať už obecně, nebo za specifických podmínek.

Na rozdíl od útoků založených na promptech se otrava dat zaměřuje na samotný proces učeníJakmile jsou do modelu začleněna kontaminovaná data, může se chovat škodlivě i pro běžné, legitimní uživatele.

Toto riziko je obzvláště akutní v systémech, které:

Neustále se učit z uživatelských vstupů
Doladění na základě dat poskytnutých zákazníkem
Přeškolení modelů pomocí protokolů, zpětné vazby nebo tiketů podpory

Co to znamená pro malé a střední podniky

Pro malé a střední podniky je otrava dat často... neúmyslné, ale stále nebezpečné.

Mezi klíčové důsledky patří:

Poškozené chování umělé inteligence
Pokud se interní nástroje umělé inteligence učí z nekontrolovaných vstupů, zaměstnanci nebo externí uživatelé mohou model neúmyslně naučit špatnému chování, nesprávným zásadám nebo nebezpečným pokynům.
Eroze důvěry
Jakmile model začne dávat nesprávné nebo škodlivé odpovědi, uživatelé ztrácejí důvěru v systém, i když je těžké diagnostikovat hlavní příčinu.
Operační risk
Zkreslené výstupy mohou vést ke špatným rozhodnutím, nesprávným radám nebo nekonzistentnímu vymáhání politik a postupů.
Skrytá perzistence
Na rozdíl od špatného výzvy mohou otrávená data ovlivnit model dlouhodobě, dokud nebude model přetrénován nebo vrácen zpět.

Pro malé a střední podniky je nebezpečím předpoklad, že „učení se od uživatelů“ je vždy prospěšné.

Co to znamená pro poskytovatele spravovaných služeb (MSP)

Pro poskytovatele spravovaných služeb představuje otrava dat vážné riziko pro dodavatelský řetězec a důvěru.

Mezi hlavní úvahy patří:

Kontaminace mezi klienty
Pokud jsou školicí data sdílena mezi klienty, mohou kontaminovaná data z jednoho klienta ovlivnit výstupy pro ostatní.
Zneužití klientských dat
Ingesce klientských tiketů, protokolů nebo dokumentace do trénovacích kanálů bez ověření může do modelů zavést škodlivý nebo citlivý obsah.
Odpovědnost a dodržování předpisů
Zkreslený model, který poskytuje nebezpečné nebo nesprávné pokyny, může mít pro poskytovatele spravovaných služeb smluvní, regulační a právní důsledky.
Obtížnost atribuce
Útoky s cílem otrávit data jsou nenápadné. Často je těžké určit, kdy, jak nebo kým byla data otrávena.
Reputační poškození
Klienti očekávají, že poskytovatelé spravovaných služeb (MSP) budou chránit nejen data, ale také integritu systémů, které jsou na těchto datech postaveny.

Praktické jídlo s sebou

Útoky na otravu dat ohrožují co se model naučí, nejen to, co se po něm žádá.

Pro malé a střední podniky a poskytovatele spravovaných služeb:

Nikdy ve výchozím nastavení nepovažujte data poskytnutá uživatelem za důvěryhodný školicí vstup.
Samostatný inferenční data od tréninková data
Implementujte validaci, kontrolu a sanitizaci všech dat použitých při školení nebo doladění.
Vyhněte se automatickému přeškolování na základě vstupů od zákazníků v reálném čase
Udržovat možnosti verzování a vrácení zpět u modelů

Další čtení:

CyberHoot nabízí i další zdroje, které můžete využít. Níže uvádíme odkazy na všechny naše zdroje, neváhejte se na ně kdykoli podívat: