数据投毒是一种攻击，攻击者故意将恶意、误导性或带有偏见的数据注入模型的训练、微调或反馈流程中，以影响模型的行为。其目的是使模型产生错误、不安全、带有偏见或受攻击者控制的输出，这种影响可能普遍存在，也可能在特定条件下产生。
与基于提示的攻击不同，数据投毒攻击直接针对学习过程本身。一旦被投毒的数据被整合，即使对于正常的合法用户，模型也可能出现恶意行为。
在以下系统中，这种风险尤为严重：
- 不断从用户输入中学习
- 根据客户提供的数据进行微调
- 使用日志、反馈或支持工单重新训练模型
这对中小企业意味着什么
对于中小企业而言，数据投毒通常是无意的，但仍然很危险。
主要影响包括：
- 人工智能行为异常
如果内部人工智能工具从未经检查的输入中学习，员工或外部用户可能会无意中教会模型不良行为、错误政策或不安全的指导。
- 信任侵蚀
一旦模型开始给出错误或有害的答案，用户就会对系统失去信心，即使根本原因难以诊断。
- 操作风险
有害的输出结果可能导致错误的决策、不正确的建议，或者政策和程序执行不一致。
- 隐藏持久性
与错误的提示不同，被污染的数据会对模型产生长期影响，直到模型重新训练或回滚为止。
对于中小企业而言，危险在于假设“向用户学习”总是有益的。
这对托管服务提供商 (MSP) 意味着什么
对于托管服务提供商而言，数据中毒代表着严重的供应链和信任风险。
主要考虑因素包括：
- 交叉客户污染
如果训练数据在租户之间共享，则来自一个客户端的污染数据可能会影响其他客户端的输出。
- 客户数据滥用
未经验证就将客户工单、日志或文档导入训练管道，可能会将恶意或敏感内容引入模型。
- 责任和合规风险
如果模型存在缺陷，提供不安全或不正确的指导，可能会给托管服务提供商 (MSP) 带来合同、监管和法律方面的后果。
- 归因困难
投毒攻击非常隐蔽。通常很难确定数据何时、如何或由谁投毒。
- 声誉受损
客户期望 MSP 不仅要保护数据，还要保护基于这些数据构建的系统的完整性。
实用建议
数据投毒攻击会损害模型学习到的内容，而不仅仅是模型被要求学习的内容。
适用于中小企业和托管服务提供商：
- 默认情况下，绝不将用户提供的数据视为可信的训练输入。
- 将玻璃分离完成切割。 推理数据 ，来自 训练数据
- 对用于训练或微调的任何数据实施验证、审查和清理。
- 避免基于实时客户输入进行自动重新训练
- 维护模型的版本控制和回滚功能
延伸阅读：
CyberHoot 还提供了一些其他资源供您使用。以下是我们所有资源的链接，欢迎随时查看：
立即使用 CyberHoot 保护您的业务！
