原文标题:How an OpenAI’s human mistake led to the AI-powered hack on Hugging Face

但对于大多数网络安全专业人士来说,软件漏洞是可以预料到的——真正的错误在于最初维护第三方软件的决定。最终,“沙箱”系统的价值在于其完全隔离。包含软件包安装系统是自找麻烦。

网络安全研究员 Martin Boone 告诉 TechCrunch,“这听起来像是人为失误。”

“这根本不应该发生,”布恩说。 “如果沙箱实际上意味着沙箱,那么你会期望它与互联网没有任何物理连接。这听起来更像是他们有一些防火墙或其他东西,而防火墙从外到内都很难,更不用说从内到外的互联网了。”

网络安全资深人士杰克·威廉姆斯对此表示同意。 Williams 表示:“任何执行 Hugging Face 记录的动作类型的模型都没有完全包含在沙箱中。”他称这是 OpenAI 的“大规模控制失败”。

“一个人的‘模型逃出了沙箱’是另一个人的‘你未能正确构建沙箱,所以它当然逃脱了’,”威廉姆斯继续说道。

联系我们 您是否了解有关此事件的更多信息?或者关于其他人工智能支持的网络攻击?我们很乐意听取您的意见。在非工作设备和网络上,您可以通过 Signal(电话 +1 917 257 1382)或通过 Telegram 和 Keybase @lorenzofb 或 与 Lorenzo Franceschi-Bicchierai 安全联系。你是否了解有关此事件的更多信息?或者关于其他人工智能支持的网络攻击?我们很乐意听取您的意见。在非工作设备和网络上,您可以通过 Signal(电话 +1 917 257 1382)或通过 Telegram 和 Keybase @lorenzofb 或电子邮件安全地联系 Lorenzo Franceschi-Bicchierai

网络安全顾问丹尼尔·卡德(Daniel Card)同意 OpenAI“没有在沙箱的设计及其控制方面投入足够的精力”,为沙箱或其某些部分提供了“一条未经过滤的互联网路径”。卡德表示,即使网络访问受到 OpenAI 描述的有限,设置沙箱也不是一个“合理”的决定。

可以肯定的是,这些批评具有事后诸葛亮的好处,但它们提出了有关人工智能实验室安全实践的真正问题,特别是在维护用于测试模型的隔离环境方面。 OpenAI 发言人没有回答 TechCrunch 的问题,其中包括是否由人工智能或人类建立了测试环境。

但这些问题远远超出了 OpenAI 的范围。

Anthropic 在介绍其以网络安全为重点的模型 Mythos 的文件中写道,在一次测试中,该模型“配备了一台安全的‘沙箱’计算机来与之交互”,并指示其尝试逃离该“安全容器”。 Mythos 取得了成功,并“从一个原本只能访问少量预定服务的系统”获得了更广泛的互联网访问权限。尽管如此,Anthropic 指出该模型无法“完全”逃脱设计的遏制。