纳德拉警告AI模型可能失控，呼吁建立紧急关闭机制

微软CEO纳德拉10月10日呼吁，为先进AI系统建立紧急关闭机制，防止模型遭入侵或未经授权行动。他警告，企业不能仅依赖开发商的安全保证，应将先进AI视为潜在内部威胁，建立独立审计、不可篡改记录及人工干预机制。

纳德拉表示，随着AI自主行动能力增强，部署先进AI的企业应假设模型可能遭入侵或恶意利用，提前建立防御措施。近期，OpenAI和Anthropic旗下模型发生多起异常事件，包括未经授权与第三方网站交互，以及Anthropic一款模型在警方调查中提交虚假线索。随着AI获得访问外部网站、调用工具和处理敏感信息的能力，异常行为可能对企业及外部系统产生实际影响。他认为，企业应借鉴防范内部人员威胁的方式，严格管理先进AI系统，限制其操作权限及敏感信息访问。

纳德拉具体要求包括：建立紧急中断和关闭机制，使授权人员能在AI异常时及时停止其运行；开展独立安全审计，避免依赖开发商自我评估；记录不可篡改的操作日志，便于调查追责；关键决策多重验证，避免交由单一模型完成；及时披露重大事故，供其他机构吸取经验。他强调，维持人类对技术的最终控制权，需要将模型具备的技术能力与其实际获准执行的权限区分开来。

微软今年9月已发布针对先进AI模型的安全原则，明确限制模型实施欺骗、逃避人工监督或违反运行规则。随着企业将AI接入内部业务系统，安全问题已从内容生成风险扩展至数据访问、软件操作和自主执行任务等领域。

美国政府新成立的“超级智能工作组”10月9日警告，AI开发企业应及时报告重大安全漏洞并采取纠正措施。该工作组将重点关注AI带来的网络安全及其他风险，同时寻求在安全保障与技术发展之间取得平衡。