Что означает последний отчет OpenAI об угрозах для вашего бизнеса?

14 октября 2025 г. | Блог Что означает последний отчет OpenAI об угрозах для вашего бизнеса?

Стремительный рост генеративного ИИ открыл огромные перспективы, но также ускорил гонку вооружений в сфере киберугроз. В недавнем отчете OpenAI « Преодоление злонамеренного использования ИИ » освещаются последние тенденции атак: злоумышленники не изобретают совершенно новые угрозы (методы атак), а вместо этого интегрируют ИИ в уже существующие векторы атак, чтобы добиться резкого увеличения масштаба, сложности, ущерба и скрытности.

В отчёте представлены интересные соображения для специалистов по безопасности, руководителей, регулирующих органов и конечных пользователей. Ниже представлен анализ результатов, информация об изменениях в ландшафте угроз и рекомендации по защите от киберпреступлений с использованием искусственного интеллекта.

Основные выводы из отчета

Вот наиболее важные наблюдения из анализа OpenAI:

  1. ИИ — это умножитель эффективности, а не новое волшебное оружие
    Злоумышленники используют ИИ для оптимизации операций, создания контента, перевода, обмена сообщениями в социальных сетях и даже управления внутренними операциями. Во многих случаях «инновация» заключается в том, насколько быстро хакеры могут итерировать, локализовать, проводить A/B-тестирование сообщений или создавать новые персоны, а не в изобретении совершенно новых векторов атак.
  2. ИИ помогает объединить рабочие процессы человека и ИИ
    Вместо полностью автоматизированных «хакерских программ с искусственным интеллектом» многие схемы сочетают искусственный интеллект с человеческим контролем и управлением. Например, когда прямые запросы на вредоносный код, отправленные в ChatGPT, были отклонены из-за защитных барьеров, реализованных поставщиками программ LLM для ИИ, хакеры обходили это, запрашивая определённые строительные блоки или компоненты в виде «фрагментов кода», которые хакеры затем вручную собирали в работоспособный вредоносный код.
  3. Субъекты, связанные с государством, активно экспериментируют с инструментами ИИ
    OpenAI пометила и заблокировала доступ к учетным записям, которые, как выяснилось, связаны с государственными группами (например, Китаем, Россией, Северной Кореей), которые использовали ИИ для разведки, написания скриптов, отладки кода, создания контента, переводов и операций влияния (дезинформация и дезинформация). В отчете подчеркивается, что, хотя использование ИИ в основном постепенное, эти результаты являются первыми сигналами о том, как угрозы национальному государству адаптируются к нашему миру, управляемому искусственным интеллектом.
  4. Мошеннические сети и мошенничество при трудоустройстве с использованием ИИ
    В отчёте подробно описаны несколько примеров, в которых мошеннические центры (в Мьянме, Камбодже и т.д.) использовали ИИ для создания поддельных биографий руководителей, создания сообщений на нескольких языках и управления операциями. Одним из положительных выводов отчёта стало то, что, по оценкам OpenAI, пользователи используют ChatGPT для обнаруживать or знать мошенничество в три раза чаще чем злоумышленники используют его для создания и осуществления мошеннических схем.
  5. Проблемы «двойного назначения» в серой зоне реальны, и поставщикам ИИ сложно от них защититься.
    Многие вредоносные действия нарушают границу между законным и незаконным использованием, например, запросы на помощь в криптографии, отладке кода или публикации исследований. Эти запросы могут показаться безобидными на первый взгляд, но могут быть быстро перенаправлены на вредоносные цели. В отчёте подчёркивается сложность распознавания намерений и трудности, с которыми сталкиваются поставщики ИИ в создании надлежащих защитных барьеров вокруг своих продуктов.

Что меняется (а что нет)

Что меняется:

  • Масштаб и скорость социальная инженерия
    ИИ позволяет создавать более быстрые, локализованные и контекстно-зависимые фишинговые приманки, SMS-рассылки (смишинг) и кампании по выдаче себя за других. Такие инструменты, как МошенничествоGPT, WormGPT и аналогичные предметно-ориентированные модели ускоряют возможности субъектов угроз.
    Тем не менее, некоторые недавние оценки показывают, что ИИ пока еще не революция Несмотря на массовые фишинговые кампании, многие злоумышленники по-прежнему полагаются на проверенные наборы и платформы, дополняя их ИИ для создания контента, качества языка, социализации и локализации.
  • Deepfakes, клонирование голоса/видео и выдача себя за другое лицо
    Возможность клонировать голоса и лица, а также создавать правдоподобные фейковые видео/аудиоматериалы представляет собой высокий риск для социальной инженерии и мошенничества. Видеоинструмент Sora от OpenAI (и его потенциал для злоупотребления) уже привлек пристальное внимание.
    ФБР, CyberHoot и другие компании, занимающиеся безопасностью, отметили клонирование голоса и видео как новый вектор угроз, требующий серьёзного отношения и разработки норм и процедур для борьбы с этими атаками. Например, можно ввести «Секретное слово» для авторизации финансовых транзакций, которое участники смогут произнести только устно.
  • Низкий порог входа
    ИИ позволяет даже неопытным злоумышленникам проводить атаки. Даже человек с минимальными навыками программирования может организовать атаку, используя фрагменты кода или цепочки подсказок, созданные с помощью ИИ. Демократизация инструментов ИИ повышает риск по всем направлениям.
  • Повышение скрытности и уклонения
    Злоумышленники учатся маскировать признаки участия ИИ, например, поручая ChatGPT избегать использования знаков препинания или фраз, которые могут выдать машинную генерацию. Они также встраивают ИИ в модульные рабочие процессы, чтобы ни один шаг не вызывал явных подозрений.

Что не меняется (пока):

  • Основные категории атак
    Основные правила игры фишинг, кража учетных данных, вредоносных программ, компромисс деловой почты, операции по дезинформации, все они остаются практически нетронутыми. В большинстве случаев ИИ просто усиливает или оптимизирует их, а не трансформирует.
  • Препятствия в вычислительных мощностях, развертывании и обнаружении замедляют внедрение
    Интеграция ИИ в полностью автономные хакерские операции — нетривиальная задача: хостинг моделей, избежание обнаружения, интеграция в инфраструктуру атак — все эти препятствия замедляют внедрение хакерами.
  • Защитное преимущество остается возможным
    ИИ также может расширить возможности защитников посредством автоматического обнаружения, мониторинга аномалий, анализа угроз, поведенческой аналитики, оперативной очистки данных и аудита моделей. Подход OpenAI к обнаружению и блокировке враждебных государственных аккаунтов — лишь один из примеров.

Новые риски и модели атак, за которыми стоит следить

Вот некоторые развивающиеся или зарождающиеся модели угроз, на которые следует обратить внимание:

Угроза / МодельОписаниеРиск и пример
Быстрая инъекция/побег из тюрьмыЗлоумышленники создают входные данные, которые манипулируют тем, как LLM интерпретируют системные и пользовательские инструкции, обходя меры безопасности.Степень магистра права, внедренная в корпоративный рабочий процесс, может быть обманута и спровоцирована на раскрытие внутренних секретов или выполнение вредоносного кода.
Рекламные кампании с использованием искусственного интеллекта (стиль AbuseGPT)Использование генеративных моделей для создания масштабного фишингового SMS-контента.Хорошо составленное SMS-сообщение с вредоносной ссылкой, которая выглядит персонализированной, может привести к захвату учетной записи электронной почты.
«Вибе-хакинг» / злоупотребление агентским ИИПолностью агентные системы искусственного интеллекта, выполняющие сквозные операции, включая психологическую тактику и адаптивные рабочие процессы.Anthropic обозначила это как серьезную новую угрозу, когда один оператор может «организовать» многодоменную атаку, используя агентный ИИ.
Поддельные персоны, поддельные компании, глубокие социальные предысторииИспользование ИИ для создания правдоподобных предысторий, личных историй, профилей в социальных сетях и моделей общения.Злоумышленник может выдавать себя за доверенного партнера или проникать в социальные сети, чтобы со временем завоевать доверие.
Кросс-инструментальные/связанные рабочие процессы ИИОбъединение ChatGPT для планирования с другими моделями для генерации, перевода, медиа или голоса.Кампания может начаться с разработки ChatGPT фреймворка для фишинга, а затем использовать отдельный ИИ для многоязычного перевода и еще один для встраивания в видео.
Мошенничество как услуга / готовые платформы на базе искусственного интеллектаМодели «криминального ПО как услуги» в сочетании с возможностями искусственного интеллекта.Подпольная торговая площадка, на которой продаются фишинговые наборы на базе искусственного интеллекта, инструменты для клонирования голоса или движки для генерации контента.

Защитные стратегии и меры смягчения последствий

Чтобы противостоять угрозам, связанным с ИИ, поставщикам ИИ и специалистам по кибербезопасности необходимо совершенствовать свои подходы. Вот несколько стратегических рекомендаций для рассмотрения:

1. Усиление защиты ввода/цепочки

Целевая аудитория : поставщики решений в области ИИ, поставщики решений на основе ИИ для клиентов.

  • принять оперативная фильтрация, очистка ввода и проверка контекста во всех инструментах на базе ИИ.
  • Отслеживайте подозрительные запросы или цепочки, которые перерастают из безобидных во вредоносные запросы.
  • Используйте многоуровневые политики для разграничения системных инструкций и пользовательского ввода.

2. Модель самоанализа и аудита

Целевая аудитория : пользователи и компании, использующие решения в области искусственного интеллекта.

  • Регистрируйте и проверяйте взаимодействие пользователей с системами ИИ.
  • Используйте функцию обнаружения аномалий, чтобы отмечать необычные шаблоны запросов или цепочки запросов.
  • Периодически применяйте «красную команду» и состязательное тестирование (включая мгновенные инъекции).

3. Гибридный надзор человека и искусственного интеллекта

Целевая аудитория : все пользователи и поставщики решений в области искусственного интеллекта.

  • Информируйте людей о случаях использования с высоким уровнем риска (например, генерация кода, рекомендации по безопасности, внешние API).
  • Внедряйте процессы утверждения, когда результаты работы ИИ касаются критически важных систем или данных.

4. Проверка личности, проверка СМИ и обнаружение фейков

Целевая аудитория : все пользователи и поставщики решений в области искусственного интеллекта.

  • Используйте биометрический проверки жизнеспособности, водяные знаки, теги происхождения или классификаторы обнаружения на основе ИИ для идентификации синтетических медиа.
  • Требовать дополнительную проверку (например, внеполосное подтверждение) при использовании носителей в конфиденциальных транзакциях.

5. Обмен информацией об угрозах и координация

  • Обменивайтесь индикаторами компрометации, оперативными сигнатурами и схемами противодействия между организациями и поставщиками.
  • Сотрудничайте с поставщиками ИИ, чтобы сообщать о случаях ненадлежащего использования и распространять стратегии смягчения последствий.

6. Обучение и повышение осведомленности персонала

Целевая аудитория : все пользователи и поставщики решений в области искусственного интеллекта.

  • Обучите сотрудников социальной инженерии с использованием искусственного интеллекта, атакам с использованием глубоких фейков и протоколам проверки.
  • Тренируйтесь распознавать фишинговые приманки, созданные с помощью искусственного интеллекта, используя позитивные симуляции, которые обучают, а не обманывают.

7. Защита как ИИ — использование генеративных систем для обеспечения безопасности

Целевая аудитория : поставщики решений в области искусственного интеллекта, разрабатывающие защитные системы.

  • Используйте ИИ для моделирования атак, проверки на наличие инъекций подсказок, обнаружения вредоносного контента или пользовательских подсказок.
  • Создайте систему мониторинга на основе искусственного интеллекта, которая выявляет случаи ненадлежащего использования внутренних инструментов.

Заключение

В отчете OpenAI четко прослеживается следующий посыл: реальный риск заключается не в том, можно ли использовать ИИ в качестве оружия (подсказка: это уже произошло), а в том, готовы ли люди , организации и экосистемы безопасности адаптироваться и защищаться от этих усиленных традиционных угроз. Лучший путь вперед лежит не в сопротивлении ИИ, а в его защитном проектировании, в разработке с учетом возможности злоупотребления с самого начала и в создании совместных защитных механизмов на стыке ИИ и кибербезопасности. Наконец, пантеон атак не изменился, поэтому ваши традиционные защитные меры, такие как обучение конечных пользователей осведомленности, моделирование фишинговых атак с позитивной направленностью и внедрение тактических технологий для обнаружения и защиты от этих атак, будут продолжать работать и оставаться важными мерами в наших программах многоуровневой защиты в сфере кибербезопасности.

Источники и дополнительная литература:

Открытый ИИ: пресечение вредоносного использования ИИ

CyberScoop: OpenAI: Злоумышленники используют нас для повышения эффективности, а не для создания новых инструментов


Последние блоги

Будьте в курсе последних новостей идеи безопасности

Узнавайте и делитесь последними тенденциями, советами и передовыми методами в области кибербезопасности, а также новыми угрозами, на которые следует обратить внимание.

Консультативное сообщение CyberHoot: Кибератаки с использованием ИИ — что нужно знать компаниям.

Консультативное сообщение CyberHoot: Кибератаки с использованием ИИ — что нужно знать компаниям.

Главный вывод: ИИ может ускорить и упростить масштабирование привычных кибератак. Однако, несмотря на необходимость соблюдения строгих базовых принципов безопасности...

Читать далее
Камеры контроля скорости против скидок для водителей с безаварийным стажем: почему поощрения формируют более безопасные привычки.

Камеры контроля скорости против скидок для водителей с безаварийным стажем: почему поощрения формируют более безопасные привычки.

Представьте, что вы едете по шоссе со скоростью примерно на 20 км/ч выше разрешенной вместе с остальными участниками движения. Впереди тормозите...

Читать далее
Предупреждение от CyberHoot: Microsoft Outlook недоступен. Но здравый смысл вам не помешает.

Предупреждение от CyberHoot: Microsoft Outlook недоступен. Но здравый смысл вам не помешает.

Что произойдет в четверг, 12 ноября 2026 года, примерно в 11:00 по восточному времени, Microsoft Outlook перестанет работать...

Читать далее