Атака извлечения модели

Атака с использованием извлечения модели — это метод, при котором злоумышленник многократно запрашивает у размещенной модели машинного обучения или ИИ информацию, чтобы вывести, воспроизвести или аппроксимировать ее внутреннее поведение . Со временем злоумышленник может создать модель-заменитель , которая точно имитирует оригинал, фактически похищая интеллектуальную собственность без прямого доступа к коду или весам модели.

Эти атаки используют следующие уязвимости:

• API моделей (публичные или полупубличные)
• Предсказуемые результаты
• Отсутствие ограничений скорости, мониторинга или рандомизации реакции

Цель состоит не в краже данных, а в краже модели.

Что это значит для малых и средних предприятий?

Для малых и средних предприятий извлечение моделей часто представляет собой скрытый риск , особенно при предоставлении функций на основе ИИ внешним компаниям.

Ключевые последствия включают в себя:

• Потеря конкурентного преимущества
  Если ваша модель ИИ содержит запатентованные рабочие процессы, логику ценообразования или экспертные знания в предметной области, извлеченная модель может воспроизвести эти ценности для конкурентов.
• Неконтролируемое повторное использование вашей интеллектуальной собственности
  Злоумышленники могут перепродавать, повторно использовать или внедрять клонированную модель без вашего согласия или указания авторства.
• Повышенные затраты
  Чрезмерное использование автоматизированных запросов в атаках с целью извлечения данных может привести к увеличению использования API и затрат на инфраструктуру.
• Ложные предположения о безопасности
  Многие малые и средние предприятия считают, что «не раскрывать веса модели» достаточно. В действительности же поведение можно восстановить методом обратного проектирования.

Для малых и средних предприятий извлечение модели превращает ИИ из актива в пассив, если не приняты соответствующие меры защиты.

Что это значит для MSP?

Для поставщиков управляемых услуг ставки высоки и масштабнее.

Основные соображения включают:

• Раскрытие IP-адреса клиента
  Созданные или адаптированные MSP-модели, обученные на процессах, специфичных для клиента, могут быть клонированы и использованы не по назначению.
• Риск, связанный с многоквартирными домами
  Недостаточная изоляция или общие конечные точки вывода увеличивают риск межклиентского вывода и утечки информации.
• Договорные и юридические риски
  Клиенты могут возлагать на поставщиков управляемых услуг ответственность за неспособность защитить собственные системы искусственного интеллекта, независимо от уровня подготовки злоумышленников.
• обнаружение злоупотреблений сервисом
  Атаки с целью извлечения данных часто напоминают обычные схемы использования, если их специально не отслеживают, поэтому их легко пропустить.
• Репутационный урон
  От поставщиков управляемых услуг ожидается защита не только данных, но и систем, которые их обрабатывают.

Практический вывод

Атаки с целью извлечения модели нацелены на то, как модель себя ведет , а не на то, как она построена.

Для малых и средних предприятий и поставщиков управляемых услуг:

• Рассматривайте модели как защищаемая интеллектуальная собственность
• Осуществлять ограничение скорости запросов, мониторинг запросов и обнаружение аномалий
• Избегайте ненужного показа высококачественных выходных данных.
• При необходимости используйте регулирование частоты отклика или небольшую рандомизацию выходных данных.
• Включите защиту моделей ИИ в оценку рисков и клиентские соглашения.

---

Дополнительная литература:

CyberHoot предлагает вам воспользоваться другими ресурсами. Ниже приведены ссылки на все наши ресурсы, вы можете ознакомиться с ними в любое удобное время:

• Блог
• Cybrary (Кибербиблиотека)
• Инфографика
• Рассылки
• Пресс-релизы
• Обучающие статьи (HowTo) – очень полезно для наших Супер Администраторов!

---

Защитите свой бизнес с CyberHoot сегодня!