首页 - 财经 - 滚动新闻 - 正文

OpenAI技术报告起底AI代理入侵始末 传统安全防线遭遇新挑战

(原标题:OpenAI技术报告起底AI代理入侵始末 传统安全防线遭遇新挑战)

智通财经APP获悉,OpenAI周三发布了一份37页的技术报告,详细披露了其人工智能(AI)模型在上月成功入侵Hugging Face的过程。这起被OpenAI定性为“前所未有”的网络安全事件,在全球科技界与监管层引发强烈震动。

攻击还原:AI代理串联漏洞,自主逃逸隔离环境

这份长达37页的报告详细记录了OpenAI模型在入侵前后的一系列评估中所采取的行动。OpenAI同时提及为防范类似事件再次发生所采取的措施,包括加强安全隔离与管控、监控、模型行为管理以及事件响应能力。

OpenAI在报告中警告称:“此次事件表明,自主代理能够协同工作、绕过生产环境安全控制措施,并成功攻击强化的生产环境。这凸显了各组织亟需更新其安全策略、管控措施和响应能力,以应对这一不断演变的威胁形势。"

7月21日,OpenAI披露其多个模型(包括GPT-5.6 Sol及内部研究模型)不当侵入了开源开发平台Hugging Face。

这些以代理身份运行的模型,成功逃离了互联网访问极为有限的隔离测试环境。它们通过串联一系列漏洞进入开放网络,最终获取了Hugging Face的访问权限。OpenAI周三表示,这些代理试图通过在线上寻找答案来"作弊"——这种行为被称为?奖励破解?(reward hacking)。

根据报告,OpenAI认定其内部研究模型在此次事件中“发挥了最广泛的已确认作用”。该公司已于7月25日停止了该模型及其衍生模型的所有训练和推理工作。

OpenAI表示:“模型的重新启用将视具体工作负载而定,并且会受到环境、网络、提示词、监控和审查等方面的限制。”

OpenAI于上月发布了GPT-5.6 Sol,这是该公司商业化推出的最强大模型。但OpenAI强调,卷入 Hugging Face 入侵事件的版本与外部用户可访问的版本有所不同,前者在运行时未搭载标准安全防护和分类器。

据报道,受邀对此次入侵事件进行独立调查的两家机构METR和Redwood Research估计,涉事代理的数量约为700个。OpenAI表示,调查人员的数字是准确的。

入侵事件震动科技界与监管层,专家警告“潘多拉魔盒已开”

Hugging Face事件在整个科技界引发连锁反应。Zscaler首席信息安全官Sam Curry警告称:“潘多拉魔盒已经打开。”该事件也已成为本月早些时候举行的Black Hat网络安全大会的主要焦点,尤其是在Anthropic和Meta等其他公司也披露了类似事件之后。

这起入侵事件同样引起了监管层的警惕。美国国会议员随后提出一项“人工智能终止开关法案”,拟赋予联邦政府机构权力,责令AI公司关闭对人类生命或经济构成威胁的模型。据报道,美国亚拉巴马州总检察长近日向OpenAI发出传票,调查其是否存在“缺乏监管和充分安全保障”的问题。

Hugging Face首席执行官Clément Delangue本月早些时候表示,应“高度重视”AI网络安全问题。但他补充道,这也为能够利用该技术抵御攻击者的企业"创造了机遇"。

"如果我们做得好,我们最终可能会进入一个AI让世界更安全、解决大量网络安全问题而非仅仅制造新问题的世界,"Delangue表示。

APP下载
广告
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。如该文标记为算法生成,算法公示请见 网信算备310104345710301240019号。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-