मॉडल इनवर्जन अटैक मशीन लर्निंग से संबंधित एक गोपनीयता हमला है जिसमें हमलावर मॉडल के आउटपुट का उपयोग करके उस डेटा के बारे में संवेदनशील जानकारी का अनुमान लगाता है, उसे पुनर्निर्मित करता है या पुनः प्राप्त करता है जिसका उपयोग मॉडल को प्रशिक्षित करने के लिए किया गया था। माइक्रोसॉफ्ट इसे मशीन लर्निंग मॉडल में उपयोग की जाने वाली निजी विशेषताओं को पुनः प्राप्त करना बताता है, जिसमें निजी प्रशिक्षण डेटा का पुनर्निर्माण भी शामिल है जिस तक हमलावर की सीधी पहुंच नहीं होती है। ओडब्ल्यूएएसपी भी इसे मॉडल की रिवर्स इंजीनियरिंग करके उससे जानकारी निकालना बताता है।
सरल शब्दों में कहें तो, हमलावर सीधे मूल डेटासेट को चुराता नहीं है। इसके बजाय, वे मॉडल से प्रश्न पूछते हैं और उसके उत्तरों का विश्लेषण करते हैं, जब तक कि उन्हें उससे संबंधित लोगों, रिकॉर्ड या स्रोत डेटा के बारे में कोई संवेदनशील जानकारी न मिल जाए। OWASP के सिक्योर AI मॉडल ऑप्स दिशानिर्देश बताते हैं कि मॉडल इनवर्जन और एक्सट्रैक्शन हमलावरों को अनुमान प्रश्नों के माध्यम से प्रशिक्षण डेटा को पुनर्निर्मित करने की अनुमति दे सकते हैं, और NIST की एडवरसैरियल मशीन लर्निंग वर्गीकरण मॉडल इनवर्जन को ML सिस्टम में एक मान्यता प्राप्त गोपनीयता जोखिम के रूप में पहचानता है।
छोटे और मध्यम आकार के व्यवसायों के लिए, मॉडल इनवर्जन अटैक का मतलब है कि संवेदनशील व्यावसायिक, ग्राहक या कर्मचारी डेटा पर प्रशिक्षित एआई मॉडल अनजाने में उस डेटा के कुछ अंशों को उजागर कर सकता है। यह तब सबसे ज़्यादा मायने रखता है जब मॉडल को ग्राहक प्रोफाइल, मानव संसाधन डेटा, वित्तीय जानकारी, चिकित्सा जानकारी या मालिकाना आंतरिक डेटा जैसे निजी रिकॉर्ड पर प्रशिक्षित किया जाता है। माइक्रोसॉफ्ट के थ्रेट मॉडलिंग दिशानिर्देश में मॉडल इनवर्जन को विशेष रूप से एआई अटैक सरफेस के रूप में सूचीबद्ध किया गया है, और आईबीएम के एआई गोपनीयता दिशानिर्देश में भी इनवर्जन अटैक को एक ऐसे तरीके के रूप में बताया गया है जिससे संवेदनशील जानकारी एमएल सिस्टम के माध्यम से उजागर हो सकती है।
व्यवहारिक दृष्टि से, लघु एवं मध्यम आकार के व्यवसायों को यह समझना चाहिए कि:
मैनेज्ड सर्विस प्रोवाइडर्स (एमएसपी) के लिए, मॉडल इनवर्जन अटैक उनके अपने एआई उपयोग और उनके द्वारा क्लाइंट्स के लिए तैनात, प्रबंधित या अनुशंसित किसी भी एआई सिस्टम के लिए महत्वपूर्ण हैं। चूंकि एमएसपी अक्सर कई ग्राहक परिवेशों में काम करते हैं, इसलिए एक कमजोर एआई कार्यान्वयन एक या कई क्लाइंट्स की संवेदनशील जानकारी को उजागर कर सकता है। ओडब्ल्यूएएसपी मॉडल और भविष्यवाणियों तक पहुंच को सीमित करने जैसे नियंत्रणों की सिफारिश करता है, जबकि माइक्रोसॉफ्ट का एआई थ्रेट मॉडलिंग मार्गदर्शन तैनात मॉडलों से निजी सुविधाओं को पुनर्प्राप्त करने के जोखिम पर प्रकाश डालता है।
व्यवहार में, MSP को चाहिए कि:
मॉडल इनवर्जन अटैक एक ऐसा प्रयास है जिसमें एआई या मशीन लर्निंग मॉडल की जांच करके संवेदनशील प्रशिक्षण डेटा को जानने की कोशिश की जाती है। लघु एवं मध्यम आकार के व्यवसायों (एसएमबी) के लिए, इसका मतलब है कि निजी व्यवसाय, ग्राहक या कर्मचारी की जानकारी अप्रत्यक्ष रूप से मॉडल के माध्यम से लीक हो सकती है। एमएसपी के लिए, इसका मतलब है कि एआई सिस्टम को सावधानीपूर्वक डिजाइन, समीक्षा और प्रबंधित किया जाना चाहिए ताकि उनके द्वारा उपयोग किए जाने वाले या समर्थित मॉडलों के माध्यम से ग्राहक डेटा उजागर न हो।
अतिरिक्त पढ़ना:
साइबरहूट के पास आपके उपयोग के लिए कुछ अन्य संसाधन भी उपलब्ध हैं। नीचे हमारे सभी संसाधनों के लिंक दिए गए हैं, जब चाहें इन्हें देख सकते हैं:
नवीनतम साइबर सुरक्षा रुझानों, सुझावों और सर्वोत्तम प्रथाओं के बारे में जानें और उन्हें साझा करें - साथ ही नए खतरों के बारे में भी जानें।
लेखिका: केटी बोक्वेटी | संपादकीय: क्रेग टेलर | क्रेग टेलर का संपादकीय: हम यहाँ कुछ समय से जानते हैं...
अधिक पढ़ें
लेखिका: केटी बोक्वेटी | संपादकीय: क्रेग टेलर | क्रेग टेलर का संपादकीय: एक कैप्चा को यह जांचना चाहिए कि क्या...
अधिक पढ़ें
लेखिका: केटी बोक्वेटी | संपादकीय: क्रेग टेलर | क्रेग टेलर का संपादकीय: मैं भाग्यशाली हूं कि मुझे...
अधिक पढ़ेंपारंपरिक फिश परीक्षण को मात देने वाले सकारात्मक दृष्टिकोण के साथ मानवीय जोखिमों पर अधिक पैनी नजर रखें।
