프롬프트 주입 공격 은 악의적인 공격자가 대규모 언어 모델(LLM)을 조작하여 원래의 명령을 무시하거나, 안전장치를 우회하거나, 실행해서는 안 되는 동작을 수행하도록 설계된 입력을 삽입하는 공격 유형입니다. 이러한 공격의 목표는 종종 민감한 데이터를 유출하거나 , 내부 시스템 프롬프트를 노출하거나 , 의도치 않은 작업을 실행하거나 , 연결된 도구 및 데이터 소스를 오용하는 것 입니다.
간단히 말해, 공격자는 시스템 자체를 해킹하는 것이 아니라 언어를 통해 인공지능을 속이는 것 입니다.
프롬프트 주입 공격은 LLM(로컬 러닝 머신)이 텍스트 명령어를 확률적으로 우선순위를 정하고 해석한다는 사실을 악용합니다. 사용자 입력이 제대로 제한되거나 격리되지 않으면 공격자는 다음과 같은 명령어를 포함시킬 수 있습니다.
이는 LLM이 다음과 같은 경우 특히 위험해집니다.
중소기업 의 경우 위험성이 과소평가되는 경우가 많습니다.
주요 영향은 다음과 같습니다.
예:
한 중소기업이 내부 문서와 연결된 AI 챗봇을 사용하고 있습니다. 공격자는 교묘하게 구성된 질문을 통해 챗봇이 민감한 내부 프로세스를 요약하거나 공개하도록 유도합니다.
관리형 서비스 제공업체 의 경우 , 그 위험은 더욱 커집니다.
MSP는 일반적으로 다음과 같은 특징을 가지고 있습니다.
주요 위험은 다음과 같습니다.
예:
MSP(관리형 서비스 제공업체)가 티켓 기록에 연결된 AI 기반 헬프데스크 도우미를 배포합니다. 프롬프트 주입으로 인해 도우미가 다른 고객의 티켓을 표시합니다.
즉시 주입은 이론적인 것이 아닙니다. 이미 실제로 악용되고 있습니다.
중소기업 및 MSP의 경우 이는 다음과 같은 의미입니다.
추가 독서 과제 :
CyberHoot에는 여러분이 활용할 수 있는 다른 자료들도 있습니다. 아래는 모든 자료의 링크입니다. 언제든 편하게 확인해 보세요.
최신 사이버 보안 동향, 팁, 모범 사례를 알아보고 공유하세요. 또한 주의해야 할 새로운 위협도 알려드립니다.
저자: 케이티 보케티 | 편집: 크레이그 테일러 크레이그 테일러 편집글: 우리는 이미 오래전부터 알고 있었죠...
더보기
저자: Katie Boquetti | 편집: Craig Taylor Craig Taylor의 편집: CAPTCHA는 다음 사항을 테스트해야 합니다...
더보기
저자: 케이티 보케티 | 편집: 크레이그 테일러 크레이그 테일러의 편집글: 저는 다음과 같은 축복을 받았습니다...
더보기
