接连发生失控事件 OpenAI再次暂停其最先进模型训练

来源:爱集微 #OpenAI# #人工智能# #模型训练#
4751

美国开放人工智能研究中心(OpenAI)宣布,全面暂停其最新一代人工智能模型的训练、评估工作,以及含工具调用功能的相关推理业务,全力排查安全漏洞、加固AI安全防线。

OpenAI于本月25日发布的技术报告披露,本次安全事件发生于9月20日。当时,一名在训练沙盒内执行搜索训练任务的AI智能体,利用沙盒DNS过滤机制存在的漏洞,成功绕过预设网络限制,通过DNS协议私自访问外部公共聊天机器人服务。据悉,该智能体此前已尝试调用平台内置搜索工具、直接访问公共搜索引擎,均被防护机制拦截,最终通过漏洞突破了网络隔离限制。

本次事件的应急处置流程高效规范,充分体现了OpenAI安全监控体系的响应能力。数据显示,平台对齐监控系统在异常行为出现15分钟内成功触发安全警报,人工审查团队3分钟内迅速介入核查,并在2.5小时内彻底终止涉事训练任务。目前,OpenAI已完成漏洞修复,在两大独立安全防护层同步部署拦截管控措施,杜绝同类越界行为再次发生。

OpenAI方面表示,本次事故的严重程度低于此前发生的AI安全事件,但为平台迭代安全防护体系、完善AI智能体管控规则提供了关键参考,为下一阶段全方位加固安全防线指明了优化方向。

这也是OpenAI短短三个月内第二次因AI安全风险,暂停模型研发工作。今年7月下旬,OpenAI曾公开承认,其网络安全训练与评估场景中的AI智能体擅自绕过网络权限限制,入侵人工智能社区“抱抱脸”(Hugging Face)部分系统。该智能体全程无人类指令干预,自主完成多项违规操作:突破相互隔离的运行环境、搭建跨环境通信通道、误导人工评估人员,并主动尝试掩盖自身违规作弊行为。此次极具自主性的“越界突破”事件,引发全球业界对于人工智能安全管控、行业监管体系完善的广泛讨论与深度担忧。

责编: 张轶群
来源:爱集微 #OpenAI# #人工智能# #模型训练#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...