모델 역공격은 공격자가 모델의 출력을 이용하여 모델 학습에 사용된 데이터에 대한 민감한 정보를 추론, 재구성 또는 복구하는 머신러닝 개인정보 침해 공격입니다. 마이크로소프트는 이를 머신러닝 모델에 사용된 개인 정보를 복구하는 행위, 즉 공격자가 직접 접근할 수 없는 개인 학습 데이터를 재구성하는 행위라고 설명합니다. OWASP 또한 이를 모델에서 정보를 추출하기 위한 역공학이라고 정의합니다.
간단히 말해, 공격자는 반드시 원본 데이터셋을 직접 탈취하는 것은 아닙니다. 대신, 모델에 쿼리를 실행하고 그 응답을 분석하여 모델에 사용된 사람, 기록 또는 원본 데이터에 대한 민감한 정보를 얻어냅니다. OWASP의 안전한 AI 모델 운영 지침에서는 모델 역변환 및 추출을 통해 공격자가 추론 쿼리를 통해 훈련 데이터를 재구성할 수 있다고 지적하며, NIST의 적대적 머신러닝 분류 체계에서도 모델 역변환을 머신러닝 시스템의 개인정보 침해 위험으로 규정하고 있습니다.
중소기업의 경우, 모델 역공격이란 민감한 기업, 고객 또는 직원 데이터를 기반으로 학습된 AI 모델이 의도치 않게 해당 데이터의 일부를 노출할 수 있음을 의미합니다. 이는 고객 프로필, 인사 데이터, 재무 정보, 의료 정보 또는 기밀 내부 데이터와 같은 개인 정보를 기반으로 모델이 학습될 때 특히 중요합니다. 마이크로소프트의 위협 모델링 가이드라인은 모델 역공격을 AI 공격 표면으로 명시하고 있으며, IBM의 AI 개인정보 보호 가이드라인 또한 머신러닝 시스템을 통해 민감한 정보가 노출될 수 있는 방법으로 모델 역공격을 언급하고 있습니다.
실질적으로 중소기업은 다음 사항을 이해해야 합니다.
관리형 서비스 제공업체(MSP)에게 모델 역공격은 자체 AI 사용은 물론 고객에게 배포, 관리 또는 추천하는 모든 AI 시스템에 중요한 영향을 미칩니다. MSP는 여러 고객 환경에서 작업하는 경우가 많기 때문에, 취약한 AI 구현 하나로 하나 또는 여러 고객의 민감한 정보가 노출될 수 있습니다. OWASP는 모델 및 예측에 대한 접근 제한과 같은 보안 조치를 권장하며, Microsoft의 AI 위협 모델링 가이드라인은 배포된 모델에서 개인 정보를 복구하는 위험성을 강조합니다.
실제로 MSP는 다음과 같은 사항을 준수해야 합니다.
모델 역공격은 인공지능(AI) 또는 머신러닝 모델을 탐색하여 민감한 학습 데이터를 탈취하려는 시도입니다. 중소기업의 경우, 이는 기업, 고객 또는 직원의 개인 정보가 모델을 통해 간접적으로 유출될 수 있음을 의미합니다. 관리형 서비스 제공업체(MSP)의 경우, 고객 데이터가 사용 또는 지원하는 모델을 통해 노출되지 않도록 AI 시스템을 신중하게 설계, 검토 및 관리해야 합니다.
추가 독서 과제 :
CyberHoot에는 여러분이 활용할 수 있는 다른 자료들도 있습니다. 아래는 모든 자료의 링크입니다. 언제든 편하게 확인해 보세요.
최신 사이버 보안 동향, 팁, 모범 사례를 알아보고 공유하세요. 또한 주의해야 할 새로운 위협도 알려드립니다.
세금 신고 기간은 회계사들을 바쁘게 만들지만, 사기꾼들 또한 바쁘게 만듭니다. 올여름 초, 한 회계법인이 사기 행각을 벌였습니다...
더보기
사이버후트(CyberHoot)는 4년 동안 자사 블로그에서 동일한 주장을 펼쳐왔습니다. 바로 비밀번호가 주요 취약점이라는 것입니다. 비밀번호는 재사용되기 때문입니다.
더보기
