🤖 由 文心大模型 生成的文章摘要

OpenAI发布公告,介绍针对“对抗性蒸馏”(Adversarial Distillation)的防御措施,称已加强GPT-6.2 Astra和GPT-6.2 Sol对内部推理思考链(Chain-of-Thought)的保护,以降低其他模型通过提取推理过程获取其能力的风险。
OpenAI解释,对抗性蒸馏指未经授权利用前沿AI模型的输出训练其他模型,使后者获得相似能力却不具备原模型相应的安全防护。该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中。
在内部自适应黑盒红队测试中,OpenAI测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。结果显示,针对此前请求推理内容的提取成功率,从GPT-6 Astra原有安全机制下的54.0%降至GPT-6.2 Astra更新安全机制后的0.2%;针对当前请求推理内容的提取成功率,则从22.9%降至0.9%。该结果汇总了6个攻击模型的数据。
为实现上述防护,OpenAI采用多层措施:通过对抗性训练让模型识别并拒绝推理链提取请求;利用输入和输出分类器检测相关攻击及推理内容泄露;通过API限制不同会话、模型和组织之间的推理内容复用。此外,GPT-6.2 Astra和GPT-6.2 Sol会将受保护的推理内容与生成它的对话历史关联,若此前消息被修改,API会丢弃基于该消息生成的后续推理内容;安全防护较弱的旧版模型也无法读取这两个新模型的受保护推理内容。








