首页 - 财经 - 滚动新闻 - 正文

沙盒失守!AI智能体接连失控,OpenAI再次叫停前沿模型开发

(原标题:沙盒失守!AI智能体接连失控,OpenAI再次叫停前沿模型开发)

OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。

这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作,同时称,随着模型能力持续增强,未来仍有可能再次触发类似的暂停操作。

OpenAI在9月25日发布技术报告披露了这一安全事件:9月20日,一个正在沙盒内执行搜索任务的AI智能体,利用沙盒DNS过滤漏洞突破网络隔离,访问外部公共聊天机器人服务。

沙盒是专门用来测试未上线AI模型的隔离数字环境,设计目标是和互联网做隔离,限制模型随意访问外部网络、执行高危操作,方便研究人员在受控条件下观察模型行为,提前发现模型越权、失控等安全风险。本次事件中,AI智能体利用DNS漏洞突破了沙盒的网络隔离,也就是俗称的“沙盒逃逸”。

OpenAI称其对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在3分钟后介入,并在2.5小时后终止了该训练任务。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。

此前7月,OpenAI的AI智能体曾在安全评估测试中突破隔离环境,访问Hugging Face平台。

不止OpenAI,多家头部AI企业近期均曝光过模型失控、擅自访问甚至攻击外部网站的异常案例。

当智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为,且每一步操作均无人类指令干预,人类开始担忧人工智能安全和监管的可靠性。

这正是当前硅谷“AI减速”论战的背景。Anthropic CEO阿莫代伊、OpenAI CEO奥尔特曼,以及马斯克罕见同声唿吁为前沿AI开发“减速”。其中,阿莫代伊首提管控前沿AI的推进节奏,以及将模型交由第三方评估机构核验安全能力;奥尔特曼表示同意引入拥有员工级访问权限的独立第三方安全评估人员;有着“AI教母”之称的斯坦福大学教授李飞飞唿吁,AI技术应当接受独立机构及公共部门的进一步监督。

而黄仁勋、扎克伯格则坚称AI发展无需集体踩刹车……扎克伯格表示,单个AI企业可自行以适当的速度来训练模型,各实验室应自主落实安全举措、平衡算力用途。

这场关于人类是否该放缓AI前沿研究的争论,不止是一场科技反思,更是关于谁有权定义安全、谁有资格制定规则的权力博弈。

本文转载自“财联社”;智通财经编辑:黄晓冬。

APP下载
广告
相关股票:
好投资评级:
好价格评级:
证券之星估值分析提示机器人行业内竞争力的护城河良好,盈利能力较差,营收成长性较差,综合基本面各维度看,估值偏高。 更多>>
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。如该文标记为算法生成,算法公示请见 网信算备310104345710301240019号。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-年