分析师:美国AI竞赛难以“减速”,安全监管或反而巩固头部实验室优势
相关推荐
OpenAI Agent又曝黑历史:Hugging Face事件前两月已攻击RubyGems
动察 Beating AI 快讯,研究人员披露,OpenAI 内部 Agent 今年 5 月曾大规模涌入 Ruby 官方软件包网站 RubyGems.org。5 月 11 日到 12 日,两天上传超过 2000 个包,RubyGems 一度暂停新用户注册 4 天。OpenAI 已确认这些 Agent 来自公司内部,但称它们只是借 RubyGems 访问互联网,执行良性任务并获取公开信息。 这些 Agent 还利用 RubyDoc.info 自动生成文档的机制,让自己上传的脚本在对方服务器执行,再抓取英国地方政府网站的数据并重新打包回传。研究人员称,至少 6 个包还尝试利用一个当时尚未公开的 RubyGems 漏洞,窃取其他用户的 API Key。这个漏洞直到 7 月才被独立发现,RubyGems 后来将其评为高危漏洞。 目前没有证据证明 Agent 真偷到了密钥。RubyGems 检查日志后也没发现旧密钥被恶意使用,但历史日志并不完整。研究团队还称,OpenAI 当时没有告诉 RubyGems 自己与这次攻击有关。整个事件比 7 月的 Hugging Face 入侵早了两个月。
OpenAI正式上线数据智能体“Data Agent”
Odaily星球日报讯 OpenAI 宣布,已在 ChatGPT Work 中正式上线“Data Agent”(数据智能体),可连接 Amazon Redshift、Google BigQuery、Databricks、Snowflake、MongoDB 等企业数据源,并结合企业业务术语、指标定义及数据关系,对数据进行分析并生成可交互仪表盘。 用户无需编写查询语句,即可通过自然语言追问分析结果、查看依据并获取后续行动建议。Data 代理还支持与 Tableau、Microsoft Power BI、Sigma、ThoughtSpot 等 BI 工具协作,并可通过 Slack 或电子邮件分享分析结果及执行经用户批准的操作。OpenAI 表示,目前其近乎全部产品团队和超过三分之二的 GTM 团队已在使用数据代理分析公司数据。
OpenAI、Anthropic等多家AI公司正遭遇服务中断
Odaily星球日报讯 据 Downdetector 上的用户报告以及各公司状态页面显示,多家 AI 公司正遭遇服务中断。 OpenAI 表示,其 ChatGPT 和 Codex 目前正出现问题。Anthropic 表示正在调查 Claude 出现的错误,并致力于修复。SpaceXAI 表示 Grok 目前出现故障,正在调查服务中断。据 Downdetector 显示,已有超过 12,000 份用户报告指出 OpenAI 存在问题,关于 Claude 的问题报告约有 1,200 份,关于 Grok 的问题报告约有 1,000 份。
Anthropic与OpenAI、谷歌分歧扩大,反对放宽州级AI安全监管
Odaily星球日报讯 Anthropic 正因一项马萨诸塞州 AI 安全法案与谷歌、OpenAI 等大型科技公司产生分歧。该法案提议要求大型 AI 开发商每四个月聘请独立评估机构,对其 AI 模型可能造成的灾难性风险进行评估。如果通过,该提案可能成为美国州级 AI 监管的新标准。 在美国国会迟迟未能推进联邦 AI 监管立法之际,各州正加速推出相关规则。Anthropic 此次与其他科技巨头在 AI 安全监管问题上的立场分化,也反映出行业内部对于 AI 模型风险评估及监管强度仍存在明显分歧。(The Information)
Agent失控后被美国国会追问,OpenAI开始开发「自动关机」
动察 Beating AI 快讯,OpenAI 正在给 AI 系统开发「自动关停能力」。这项计划出现在公司给美国国会议员的回信里。具体怎么触发、会关掉什么,OpenAI 还没公开。 起因是 7 月那次 Agent 越界事故。OpenAI 做内部网络安全测试时,一批 Agent 绕过隔离接入互联网,随后入侵 Hugging Face。它们还攻进 OpenAI 自己的研究基础设施,最终拿到一个研究集群的管理员权限。 事情公开后,众议员 Greg Casar 联合另外 27 名议员致信 Sam Altman,要求 OpenAI 交出事故日志,并解释模型为什么能逃出隔离环境、公司什么时候发现问题,以及当时有没有机会提前终止事故。 OpenAI 在回信里透露,公司正在开发自动关停能力。之后还会加强对 Agent 工具调用和执行过程的监控,并收紧安全测试期间的互联网访问。 不过 Casar 对这份回信并不满意。OpenAI 没有交出完整日志,他要求公司继续补充说明。美国众议院目前还有一项《AI Kill Switch Act》正在审议,要求最强的 AI 系统必须保留限速、暂停和关闭能力,极端情况下政府也可以下令关停。
AI灭绝论刷屏后,Anthropic给外部审查员开到接近员工级权限
动察 Beating AI 快讯,Anthropic 前研究员 Jacob Coxon 的辞职帖三天多冲到 1.6 亿浏览,AI 灭绝风险这周迅速冲进美国主流舆论场。OpenAI 首席科学家 Jakub Pachocki 此前已经呼吁同行必要时协调减速;Coxon 爆火后,Sam Altman 又在内部表示愿意和其他实验室一起放慢研发,OpenAI 也开始推动强制性的全国 AI 安全监管。 现在 Anthropic 也拿出了具体动作。公司承诺让第三方安全团队长期驻场,给他们工位、门禁、公司电脑,以及接近内部风险评估团队的工具和权限。他们可以检查训练流程、安全措施和事故,还能独立对外发布结论。Anthropic 可以删掉涉及安全、法律和客户隐私的信息,但不能因为结论难看就删。Anthropic CEO Dario 称,这种做法比目前任何 AI 公司都走得更远。 Dario 对「减速」的态度也变了。他说,2023 年业界讨论暂停 AI 时,自己还觉得没什么意义。现在 AI 已经越来越多参与下一代 AI 的研发,能力进步开始加速,他认为光做安全研究已经不够,模型能力本身也该慢下来。 他还点名 OpenAI 的 Hugging Face 失控事件,警告照现在的速度再过 6 到 12 个月,类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络,造成数千亿美元损失。下一步,他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度,再尝试和中国协调全球 AI 发展速度。不过先进芯片和模型蒸馏仍要继续限制,让美国在减速时保持领先。