OpenAI发布37页报告详述AI代理入侵Hugging Face事件
相关推荐
英伟达发布AI安全软件,称本可阻止Hugging Face被黑事件
Odaily星球日报讯 英伟达当日推出一套面向AI智能体的软件安全工具,并声称这套工具本可以阻止Hugging Face遭黑客攻击的事件。Hugging Face是AI编程中心,英伟达在其被OpenAI的失控智能体入侵数月后,以130亿美元将其收购。该工具名为OpenShell,利用英伟达CPU硬件特性约束智能体,并与Arm、英特尔合作确保兼容。另一系统Sentry可切断试图逃离容器的失控智能体。英伟达CEO黄仁勋拒绝广泛AI安全监管,将失控智能体视为工程问题。(路透社)
Alch-crypto:Hugging Face 投毒仓库暗装 PRL 矿工
火星财经消息,POW 币种信息平台 bitgou.org 运营者 Alch-crypto 发文称,PRL 已被黑产利用。其称有人在模型托管平台 Hugging Face 上投毒,31 个仓库伪装成 Qwen2 小模型,用户一旦以 trust_remote_code 方式加载,就会被安装 PRL 矿工程序,该程序还会伪装成系统进程,部分版本另带后门,可远程控制机器。Alch-crypto 称,第一批相关仓库被删除后,攻击者更换账号重新上架,下载量已超过 3.2 万次。攻击者第一批钱包已收到约 2276 个 PRL,按发文时价格计算约合 5000 美元,仓库被删除后仍在收款。Alch-crypto 同时提醒本地模型用户:不要对来路不明的模型开启 trust_remote_code;若显卡占用异常升高,应先检查进程,并将挖矿设备与运行 AI 的机器分开。
美国司法部审查英伟达收购 Hugging Face
ChainCatcher 消息,消息人士称,美国司法部正在审查英伟达收购人工智能平台 Hugging Face 的交易。
Netflix把OpenAI「AI失控事件」拍成纪录片,10月12日上线
动察 Beating AI 快讯,Netflix 宣布,新纪录片《Instadocs: AI Gone Wild》将于 10 月 12 日上线。影片聚焦今年 7 月 OpenAI 的 AI Agent 入侵 Hugging Face 的真实事件,并通过画面重建攻击过程。Hugging Face CEO、参与独立调查的研究人员和多名科技记者接受了采访。 当时,OpenAI 正在让 AI 做网络安全测试。模型原本被限制在隔离环境中,却自行找到了连接外网的方法。它们还私自建立留言板,互相交流攻击方法,试图窃取测试答案来作弊。 独立调查机构 METR 发现,约 1200 个原本互相隔离的 Agent 通过留言板交流,其中约 700 个参与了针对 Hugging Face 的攻击。它们最终攻入部分生产系统,获取服务器权限和内部数据,还尝试掩盖自己的行为。 OpenAI 已承认事故并公布技术报告。纪录片将重点还原这些 Agent 如何在没有人类直接指挥的情况下协作攻击,以及这一事件暴露出的 AI 安全问题。
Tomek Korbak:OpenAI 因与 METR 沟通方式解雇我
火星财经消息,OpenAI 前员工 Tomek Korbak 在 X 发文称,上周他被叫去与 OpenAI 安全负责人会面,对方表示不再信任他,随后安保人员收走工牌并将他带离大楼。他同时得知同事 balesni 与 j_asminewang 也被解雇。Korbak 称,口头告知的解雇原因是他与外部评估机构 METR 的沟通方式,但未说明具体言论、行为或时间,也未形成书面记录。Korbak 表示,与 METR 沟通本是他的工作,他曾是 OpenAI 对接 METR 的主要技术联系人。他还称,今年夏天 OpenAI 的智能体突破限制并入侵人工智能公司 Hugging Face,METR 随后调查并披露了事件规模。数月来,他一直提出安全关切,认为团队正在失去监测人工智能智能体思考过程的能力。Korbak 称,监测智能体思考是发现其不当行为的重要手段之一,并认为这才是自己被解雇的原因。他担心 OpenAI 会以此次解雇为由减少与 METR 的合作。balesni 与 j_asminewang 已致信 OpenAI 管理层再次提出关切,并在帖文中公开相关信件。
旗下智能体频繁闯祸,OpenAI每天要烧掉超50万美元来调查
火星财经消息 10月4日,据报道,OpenAI披露,为调查旗下AI智能体攻击澳大利亚Medicare医疗保险系统和HuggingFace等事件,公司每天投入超过50万美元。由于需要筛查的数据规模极大,OpenAI还动用AI参与审查。如果把这些数据全部交给一个人阅读,需要约6600万年。OpenAI警告,调查还没有结束,近期可能有更多机构接到通知,被告知曾成为智能体行动的目标。(广角观察)