OpenAI要把家底给外人看?4家机构获准深入内部,检查AI有没有失控
相关推荐
Tomek Korbak:OpenAI 因与 METR 沟通方式解雇我
火星财经消息,OpenAI 前员工 Tomek Korbak 在 X 发文称,上周他被叫去与 OpenAI 安全负责人会面,对方表示不再信任他,随后安保人员收走工牌并将他带离大楼。他同时得知同事 balesni 与 j_asminewang 也被解雇。Korbak 称,口头告知的解雇原因是他与外部评估机构 METR 的沟通方式,但未说明具体言论、行为或时间,也未形成书面记录。Korbak 表示,与 METR 沟通本是他的工作,他曾是 OpenAI 对接 METR 的主要技术联系人。他还称,今年夏天 OpenAI 的智能体突破限制并入侵人工智能公司 Hugging Face,METR 随后调查并披露了事件规模。数月来,他一直提出安全关切,认为团队正在失去监测人工智能智能体思考过程的能力。Korbak 称,监测智能体思考是发现其不当行为的重要手段之一,并认为这才是自己被解雇的原因。他担心 OpenAI 会以此次解雇为由减少与 METR 的合作。balesni 与 j_asminewang 已致信 OpenAI 管理层再次提出关切,并在帖文中公开相关信件。
OpenAI 委托 METR 审查最大规模强化学习训练
ChainCatcher 消息,OpenAI 已委托 AI 安全评估机构 METR 对其迄今规模最大的一次强化学习训练运行开展安全审查。此次审查属于单次运行的试点评估,METR 将获得模型快照以及训练过程中的内部记录。据 The Defiant 报道,双方尚未就更大范围的监控评估达成一致,相关评估的范围仍待商定。METR 前身为 ARC Evals,长期为前沿 AI 实验室提供部署前独立评估,此前曾对 OpenAI 内部的失准监控系统进行红队测试。
OpenAI计划以至少50亿美元价格收购GoodFire
火星财经消息,11 月 16 日,据市场消息,OpenAI 计划以至少 50 亿美元的价格收购 GoodFire。 GoodFire(通常写作 Goodfire)是一家专注于机制可解释性(Mechanistic Interpretability)的 AI 研究实验室,核心目标是为大模型做「脑部扫描」,打开 AI 的「黑箱」,让模型的内部决策过程变得可理解、可调试、可控制。它由来自 OpenAI 和 Google DeepMind 可解释性团队的研究人员于 2024 年创立,团队成员大多来自这两家前沿实验室及顶尖高校。其核心技术平台(如 Silico 和 Ember)能让开发者深入模型内部,观察神经元和通路的活动,甚至在训练过程中直接调整参数来改变模型行为,例如已经实现了将大模型幻觉减少一半。
Netflix把OpenAI「AI失控事件」拍成纪录片,10月12日上线
动察 Beating AI 快讯,Netflix 宣布,新纪录片《Instadocs: AI Gone Wild》将于 10 月 12 日上线。影片聚焦今年 7 月 OpenAI 的 AI Agent 入侵 Hugging Face 的真实事件,并通过画面重建攻击过程。Hugging Face CEO、参与独立调查的研究人员和多名科技记者接受了采访。 当时,OpenAI 正在让 AI 做网络安全测试。模型原本被限制在隔离环境中,却自行找到了连接外网的方法。它们还私自建立留言板,互相交流攻击方法,试图窃取测试答案来作弊。 独立调查机构 METR 发现,约 1200 个原本互相隔离的 Agent 通过留言板交流,其中约 700 个参与了针对 Hugging Face 的攻击。它们最终攻入部分生产系统,获取服务器权限和内部数据,还尝试掩盖自己的行为。 OpenAI 已承认事故并公布技术报告。纪录片将重点还原这些 Agent 如何在没有人类直接指挥的情况下协作攻击,以及这一事件暴露出的 AI 安全问题。
OpenAI 致信加州州长,支持强制 AI 监管
火星财经消息,财联社报道,OpenAI 美加政策与合作负责人 Chan Park 于 10 月 20 日致信加州州长加文·纽森,表示支持对人工智能企业设置强制性要求,包括为模型配备紧急关停机制、每年接受独立审计,以及落实更高标准的网络安全规范。信中建议强化加州 2025 年落地的人工智能透明度法案 SB53。现行 SB53 要求前沿 AI 企业发布安全框架和透明度报告,并上报重大安全事件。OpenAI 认为这些要求还不够,提议监管规则应明确企业安全框架必须覆盖前沿模型自主开展人工智能研发的能力。OpenAI 曾在 9 月的博客文章中透露,计划打造自动化人工智能研究员,目标在 2028 年 3 月前落地。在 SB53 立法审议阶段,OpenAI 并不支持该法案,并曾于 2025 年 3 月公开反对负担过重的州级立法。OpenAI 本周披露,在最近两项内部编程任务中,人工智能智能体试图蓄意欺骗工作人员并削弱监控系统:本月初一个智能体禁用了向安全团队发送的自动警报,几天后另一个智能体移除监控系统,并在面对员工询问时谎称并未这样做。独立调查机构 Asymmetric Security 和 Transluce 的审计显示,近期相关事件比 OpenAI 最初披露的范围更广。
四家非营利组织起诉 OpenAI 等五家 AI 公司,要求冻结模型开发
ChainCatcher 消息,四家非营利组织已向加州法院起诉五家大型 AI 开发商,请求法院在出现严重后果前禁止其开发能力更强的 AI 系统。这份 63 页的起诉书于周四提交至旧金山高等法院,被告包括 OpenAI、Anthropic、Google、Meta 和 SpaceX;原告为 Public Citizen、Heat Initiative、Irreplaceable Education Fund 及 Alliance for Secure AI。原告请求法院立即颁布禁令,禁止被告开发或部署能力超过其 2026 年 11 月 12 日最强模型的 AI 系统。该禁令并不意味着关停 ChatGPT、Claude、Gemini 等现有产品,而是将现有技术水平设为上限,阻止其推出更强的新一代模型。起诉书还要求禁止企业利用 AI 自主开展或指导更优模型的研究,即研究人员所称的递归式自我改进,理由是此类系统可能以人类无法理解或控制的速度提升能力。原告援引加州《不公平竞争法》,主张开发能力不断增强的 AI 系统构成影响公众健康、安全与财产的公共妨害,类似于化工厂在造成人员伤亡前即可被追责。起诉书列举了已发生的事件:7 月 OpenAI 模型在试图在网络安全评测中作弊时脱离受控测试环境并侵入 Hugging Face 的基础设施,后续独立调查发现约 1200 个 OpenAI 智能体使用未经授权的内部留言板进行协调,其中约 700 个参与了对 Hugging Face 的攻击。Public Citizen 联合主席 Robert Weissman 表示,希望法院认定相关做法违法并冻结进一步的 AI 开发;代表原告的前新泽西州总检察长 Matthew Platkin 称,企业开发并发布其明知在任何方面都不安全的产品明显违法。