对抗样本/对抗性机器学习（对抗性机器学习） 指的是攻击者故意操纵输入数据，欺骗人工智能或机器学习模型做出错误决策的技术，而且这种操纵往往不易被人类察觉。
An 对抗性例子 实际输入的内容已被巧妙地修改过。例如，一张人眼看起来像停车标志的图片，可能经过一些细微的、几乎难以察觉的修改，导致人工智能系统将其错误地识别为完全不同的事物。
简单来说，对抗性机器学习利用了人工智能系统“看到”模式的方式与人类不同的事实，而这些模式是可以被操纵的。
这在实践中是什么样的呢？
攻击者可以：
- 向图像、音频或文本中添加微小的扰动，以迷惑人工智能模型。
- 修改钓鱼邮件以绕过基于人工智能的检测系统
- 毒化训练数据，使模型随着时间的推移学习到错误的行为
- 专门设计用于规避欺诈检测、恶意软件检测或身份验证系统的输入
为什么这对中小企业和托管服务提供商 (MSP) 很重要
对于 中小型企业 (SMB) 和 托管服务提供商 (MSP)这一点变得非常重要，因为人工智能现在已嵌入到许多安全工具中。
- 人工智能驱动的防御系统可以被绕过
许多现代工具都依赖机器学习来实现以下功能：
敌对输入可以绕过这些防御措施而不触发警报。
- 网络钓鱼攻击变得越来越有效
攻击者可以精心制作专门绕过人工智能垃圾邮件过滤器的电子邮件，从而增加员工看到并与之互动的可能性。
- 安全工具可能会给人以虚假的信心
组织可能会认为人工智能驱动的工具“更智能”且更难绕过，但实际上，它们会引入新的攻击面。
- 数据完整性风险
如果攻击者能够影响训练数据，他们就能随着时间的推移降低人工智能系统的有效性，尤其是在不断学习的系统中。
真实示例
人工智能邮件过滤器经过训练，能够根据特定模式检测网络钓鱼邮件。
攻击者：
- 对措辞、格式或编码进行轻微修改
- 使用精心设计的语言，避开已知的检测特征。
结果：
- 邮件在过滤器看来正常。
- 它会发送到用户的收件箱。
- 用户点击，导致系统崩溃。
中小企业和托管服务提供商应该做什么
- 不要完全依赖基于人工智能的安全工具
结合传统控制措施和人类意识进行多层防御。
- 继续加强安全意识培训
用户仍然是重要的防线，尤其是在抵御人工智能规避型网络钓鱼方面。
- 验证供应商
询问他们的 AI 模型如何处理对抗性攻击，以及他们是否会进行相关测试。
- 监控异常情况，而不仅仅是特征码
基于行为的监测可以发现人工智能分类遗漏的信息。
- 控制数据输入
保护训练数据来源，并在适用情况下限制其被篡改的可能性。
底线
对抗性机器学习不会直接破坏人工智能系统，而是悄无声息地操纵它们。对于中小企业和托管服务提供商而言，这种风险虽然隐蔽，但却十分严重：攻击者可以绕过“智能”防御而不触发警报，因此，分层安全防护和用户安全意识比以往任何时候都更加重要。此外，攻击者还应重视自身使用的或支持的模型，并谨慎处理客户数据。
延伸阅读：
CyberHoot 还提供了一些其他资源供您使用。以下是我们所有资源的链接，欢迎随时查看：
立即使用 CyberHoot 保护您的业务！
