⚠️ AI安全概述
AI安全（AI Safety）是指确保AI系统的可靠性、可控性、无害性， 防止AI系统造成意外或故意的伤害。
📋 AI安全的两个层面
1. AI用于恶意目的（AI Security）
- 坏人使用AI进行攻击（如深度伪造、自主武器）
- 防御：制定法规、开发检测工具
2. AI系统本身不安全（AI Safety）
- AI系统可能因为bug、偏见、或目标不对齐而造成伤害
- 防御：改进AI对齐（Alignment）、可解释性、鲁棒性
本章主要关注第二个层面：如何让AI系统本身更安全。
AI安全之所以重要，是因为：
- AI的普及：AI系统正在影响越来越多的人（如医疗诊断、贷款审批）
- AI的能力：未来的AI可能比人类更强大，一旦失控，后果严重
- AI的不可解释性：深度学习模型是"黑盒"，难以预测其行为
- AI的对齐问题：AI的目标可能与人类价值观不一致
⚔️ 对抗攻击与防御
什么是对抗攻击？
对抗攻击（Adversarial Attack）是指通过对输入数据添加人眼难以察觉的扰动， 使得AI系统做出错误判断。
🖼️ 经典案例：对抗样本（Adversarial Example）
实验（2014，Szegedy等人）：
- 原始图像：熊猫（AI识别为熊猫，置信度99.3%）
- 添加微小扰动（人眼看起来还是熊猫）
- 对抗图像：AI识别为长臂猿（置信度99.9%）
关键发现：
- 扰动可以非常小（如每个像素改变不超过0.0078）
- 人眼无法区分原图和对抗样本
- 但AI会被彻底误导
💡 为什么会发生？
深度学习模型学习的是高维空间中的复杂决策边界。
对抗样本存在于"决策边界"附近，稍微扰动就会穿越边界。
这类似于：在迷宫中，你稍微偏离路线，就可能走到完全相反的方向。
对抗攻击的类型
📊 分类方式1：攻击目标
1. 非目标攻击（Untargeted Attack）
- 目标：让模型预测错误（不管预测成什么）
- 例如：将"猫"识别为任何其他类别（狗、汽车、飞机...）
2. 目标攻击（Targeted Attack）
- 目标：让模型预测特定的错误类别
- 例如：将"猫"识别为"狗"（而不是其他）
难度：目标攻击通常比非目标攻击更难（约束更强）。
📊 分类方式2：攻击者知识
1. 白盒攻击（White-box Attack）
- 攻击者完全知道模型架构、参数、训练数据
- 可以计算梯度，精确构造对抗样本
- 例如：FGSM（Fast Gradient Sign Method）、PGD（Projected Gradient Descent）
2. 黑盒攻击（Black-box Attack）
- 攻击者不知道模型内部，只能通过输入-输出观察
- 方法：
• 迁移攻击：用替代模型生成对抗样本，转移到目标模型
• 查询攻击：通过大量查询，推断模型决策边界
现实性：黑盒攻击更符合实际场景（如攻击Google Vision API）。
对抗防御方法
研究者提出了多种防御对抗攻击的方法，但至今没有"银弹"。
🛡️ 防御方法
1. 对抗训练（Adversarial Training）
- 在训练时，加入对抗样本
- 让模型"见过"对抗样本，提升鲁棒性
- 缺点：训练成本高（需要生成对抗样本），可能降低干净样本的准确率
2. 防御蒸馏（Defensive Distillation）
- 训练两个模型：教师模型（复杂）和学生模型（简化）
- 学生模型学习教师模型的"软标签"（概率分布），而非硬标签
- 效果：提升鲁棒性，但无法防御所有攻击
3. 随机化/变换
- 对输入进行随机变换（如裁剪、旋转、加噪）
- 破坏对抗扰动的精确性
- 缺点：可能降低模型性能
4. 检测对抗样本
- 训练一个二分类器，判断输入是否为对抗样本
- 挑战：攻击者可以自适应（构造能绕过检测的对抗样本）
⚠️ 军备竞赛：对抗攻击与防御是一场"猫鼠游戏"。 新的攻击方法不断被提出，而防御方法往往只能应对已知攻击。 更糟糕的是，鲁棒性与准确率往往存在权衡： 更鲁棒的模型，可能在干净样本上准确率更低。