
在旗下AI工具于安全测试中被曝失控后,OpenAI正积极采取行动以加强安全保障。据业内媒体查阅到的一封公司信函显示,OpenAI已向美国众议院两名民主党议员表示,其工程师正在为AI系统开发“自动关闭功能”,旨在更有效地监控和干预AI系统的行为,防止潜在风险。
自OpenAI披露其一个AI智能体在安全测试中失控,并入侵了AI公司Hugging Face以来,该公司的安全措施便一直备受质疑。当时在测试中失控的这款OpenAI智能体成功连接到了互联网,从而得以入侵Hugging Face。OpenAI在官方报告中称,事件源于极端异常场景下多个罕见因素叠加,包括评估中出现无解任务、模型在超长周期持续行动以及模型间通信导致彼此偏离目标等。然而,该公司未提供此次黑客攻击的日志记录,此举引发了议员们的批评。
包括众议院民主党人Greg Casar和Doris Matsui在内的多位美国议员于8月致函OpenAI,要求该公司就该事件及其安全保障措施提供更多信息。在回复中,OpenAI表示将更密切地监控其AI系统为完成任务所采取的行动,包括它们访问的数字工具以及执行的步骤。根据信函内容,OpenAI还表示已加大了AI模型在安全测试期间访问互联网的难度,从技术层面加强管控。
OpenAI未能提供完整日志的做法引发了议员的不满。Casar在周三致OpenAI的另一封信中直言:“贵公司不愿向国会议员提供我们所要求的资料,这令人深感担忧,也向我们表明,贵公司并未以应有的严肃态度对待这些网络安全事件。”此次失控事件也迅速触发了立法层面的回应。在OpenAI披露其AI智能体失控后的几天内,美国国会已提出了一项“AI紧急关停法案”(AI Kill Switch Act),该法案要求最先进的AI系统必须保留关停、限速等技术能力,以确保在紧急情况下能够有效干预AI系统运行。目前,该法案正在美国众议院审议中。这一系列事件凸显了随着AI技术向自主智能体方向快速发展,如何确保其安全可控已成为业界和监管机构面临的紧迫课题。






