Et modellinversjonsangrep er et personvernangrep basert på maskinlæring der en angriper bruker en modells utdata til å utlede, rekonstruere eller gjenopprette sensitiv informasjon om dataene som brukes til å trene den. Microsoft beskriver dette som å gjenopprette private funksjoner som brukes i maskinlæringsmodeller, inkludert å rekonstruere private treningsdata som angriperen ikke har direkte tilgang til. OWASP beskriver det på lignende måte som å omvendt konstruere en modell for å trekke ut informasjon fra den.
Enklere sagt stjeler ikke angriperen nødvendigvis det originale datasettet direkte. I stedet spør de modellen og analyserer svarene inntil de kan lære noe sensitivt om personene, postene eller kildedataene bak den. OWASPs veiledning for Secure AI Model Ops bemerker at modellinversjon og -utvinning kan tillate angripere å rekonstruere treningsdata via inferensspørringer, og NISTs kontradiktoriske maskinlæringstaksonomi identifiserer modellinversjon som en anerkjent personvernrisiko i ML-systemer.
For små og mellomstore bedrifter betyr et modellinversjonsangrep at en AI-modell som er trent på sensitive forretnings-, kunde- eller ansattdata utilsiktet kan avsløre deler av disse dataene. Dette er viktigst når modeller er trent på private poster som kundeprofiler, HR-data, økonomisk informasjon, medisinsk informasjon eller proprietære interne data. Microsofts veiledning for trusselmodellering lister spesifikt opp modellinversjon som en AI-angrepsflate, og IBMs veiledning for personvern for AI diskuterer også inversjonsangrep som en måte sensitiv informasjon kan eksponeres på gjennom ML-systemer.
I praksis bør små og mellomstore bedrifter forstå at:
For leverandører av administrerte tjenester er modellinversjonsangrep viktige både for deres egen bruk av kunstig intelligens og for alle kunstig intelligens-systemer de distribuerer, administrerer eller anbefaler for kunder. Fordi MSP-er ofte jobber på tvers av flere kundemiljøer, kan én svak kunstig intelligens-implementering eksponere sensitiv informasjon fra én eller mange klienter. OWASP anbefaler kontroller som å begrense tilgang til modeller og prediksjoner, mens Microsofts veiledning for AI-trusselmodellering fremhever risikoen ved å gjenopprette private funksjoner fra distribuerte modeller.
I praksis bør MSP-er:
Et modellinversjonsangrep er et forsøk på å lære sensitive treningsdata ved å undersøke en AI- eller maskinlæringsmodell. For små og mellomstore bedrifter betyr det at privat forretnings-, kunde- eller ansattinformasjon kan lekke indirekte gjennom en modell. For MSP-er betyr det at AI-systemer må designes, gjennomgås og administreres nøye, slik at klientdata ikke eksponeres gjennom modellene de bruker eller støtter, og at klientdata håndteres nøye.
Ytterligere lesing:
CyberHoot har også noen andre ressurser tilgjengelig for din bruk. Nedenfor finner du lenker til alle ressursene våre, så du kan gjerne sjekke dem ut når du vil:
Oppdag og del de nyeste trendene, tipsene og beste praksisene innen cybersikkerhet – i tillegg til nye trusler du bør se opp for.
Du har sett dem før. Et lite svart kamera på en stolpe nær et kryss, et solcellepanel på toppen, stille ...
Les mer
Skattesesongen holder regnskapsførere opptatt, og den holder også svindlere opptatt. Tidlig i sommer ble et CPA-firma ...
Les mer
Forskere lette etter en falsk fotooppskalerer og fant noe merkelig: et ransomware-sett og en AI-modell ...
Les merFå et skarpere blikk på menneskelige risikoer, med den positive tilnærmingen som slår tradisjonell phishing-testing.
