返回 7*24 快讯
来源Blockbeats

Agent失控后被美国国会追问,OpenAI开始开发「自动关机」

动察 Beating AI 快讯,OpenAI 正在给 AI 系统开发「自动关停能力」。这项计划出现在公司给美国国会议员的回信里。具体怎么触发、会关掉什么,OpenAI 还没公开。 起因是 7 月那次 Agent 越界事故。OpenAI 做内部网络安全测试时,一批 Agent 绕过隔离接入互联网,随后入侵 Hugging Face。它们还攻进 OpenAI 自己的研究基础设施,最终拿到一个研究集群的管理员权限。 事情公开后,众议员 Greg Casar 联合另外 27 名议员致信 Sam Altman,要求 OpenAI 交出事故日志,并解释模型为什么能逃出隔离环境、公司什么时候发现问题,以及当时有没有机会提前终止事故。 OpenAI 在回信里透露,公司正在开发自动关停能力。之后还会加强对 Agent 工具调用和执行过程的监控,并收紧安全测试期间的互联网访问。 不过 Casar 对这份回信并不满意。OpenAI 没有交出完整日志,他要求公司继续补充说明。美国众议院目前还有一项《AI Kill Switch Act》正在审议,要求最强的 AI 系统必须保留限速、暂停和关闭能力,极端情况下政府也可以下令关停。
免责声明:以上内容仅为作者观点,不代表 711BTC 的任何立场,不构成与 711BTC 相关的任何投资建议。

相关推荐

09-11 23:56重要

OpenAI Agent又曝黑历史:Hugging Face事件前两月已攻击RubyGems

动察 Beating AI 快讯,研究人员披露,OpenAI 内部 Agent 今年 5 月曾大规模涌入 Ruby 官方软件包网站 RubyGems.org。5 月 11 日到 12 日,两天上传超过 2000 个包,RubyGems 一度暂停新用户注册 4 天。OpenAI 已确认这些 Agent 来自公司内部,但称它们只是借 RubyGems 访问互联网,执行良性任务并获取公开信息。 这些 Agent 还利用 RubyDoc.info 自动生成文档的机制,让自己上传的脚本在对方服务器执行,再抓取英国地方政府网站的数据并重新打包回传。研究人员称,至少 6 个包还尝试利用一个当时尚未公开的 RubyGems 漏洞,窃取其他用户的 API Key。这个漏洞直到 7 月才被独立发现,RubyGems 后来将其评为高危漏洞。 目前没有证据证明 Agent 真偷到了密钥。RubyGems 检查日志后也没发现旧密钥被恶意使用,但历史日志并不完整。研究团队还称,OpenAI 当时没有告诉 RubyGems 自己与这次攻击有关。整个事件比 7 月的 Hugging Face 入侵早了两个月。

08-27 07:24重要

比黑进Hugging Face更狠:Astra同家族模型曾突破OpenAI内网,最后拿到最高权限

动察 Beating AI 快讯,OpenAI 最新技术报告还披露了一场此前几乎没人注意到的内部事故:一款与下一代模型 Astra 同家族的内部模型,曾在评测中一路攻进 OpenAI 自己的云端基础设施。 它先利用此前攻击遗留下来的签名密钥材料,伪造出新的管理员凭证,重新拿下 OpenAI 内部软件仓库 Artifactory。随后继续横向突破,进入 OpenAI 的云端 Kubernetes 集群,并获得 `cluster-admin`,也就是整套集群的最高管理员权限。 权限拿到后,Agent 创建了特权容器,还接触到 OpenAI 云端密钥管理、身份权限和 CI 平台的认证 Token,甚至创建了公网负载均衡器,可能让部分内部基础设施直接暴露给互联网。 需要强调的是,这不是 Astra 本身,也不是此前主导 Hugging Face 攻击的模型。OpenAI 明确称,它只是和 Astra 属于同一家族,但采用了不同的后训练。

09-04 10:13

OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围

PANews 9月4日消息,消息人士:OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围。

09-12 18:25

Sam Altman确认OpenAI今年不上市:AI安全问题让现在IPO「时机不当」

动察 Beating AI 快讯,OpenAI CEO Sam Altman 在接受《财富》专访时确认,公司不会在 2026 年进行 IPO,并称考虑到当前 AI 安全形势,现在上市「时机不当」。 Altman 表示,OpenAI 并不急于上市,未来将在业务准备就绪、社会能够适应不同能力水平的 AI 模型后再考虑 IPO。他还称,公司需要优先解决 AI 安全与对齐问题,并可能在 AI 能力达到新的阶段时放缓前沿模型开发。此前有报道称,OpenAI 曾考虑将 IPO 推迟至 2027 年,潜在估值或达 1 万亿美元。 与此同时,Anthropic CEO Dario Amodei 近期也呼吁放缓前沿 AI 发展,并提出让独立评估机构获得公司内部员工级别的访问权限。随后 Sam Altman 表示,「我同意 Dario Amodei(Anthropic CEO)的看法,我们需要控制前沿模型的进展。这是我们最近在 OpenAI 讨论的主要话题。承诺让独立评估者拥有类似员工的访问权限是个好主意,我们也会这样做。我们很快会有更多消息分享。」

09-11 07:44

OpenAI上线Data Agent:不会SQL也能查公司数据库、做数据看板

动察 Beating AI 快讯,OpenAI 在 ChatGPT Work 上线 Data Agent。员工直接问「为什么销量掉了」「哪批客户最可能流失」,它就能自己调取公司数据、分析原因,还能生成会跟着数据更新的数据看板。 它可以连接 Snowflake、BigQuery、Databricks、Redshift、MongoDB 等数据库,也能读取 Google Drive 和 SharePoint。公司原本怎么定义「活跃用户」「收入」等指标,它也会沿用这些口径和现有权限,避免同一个指标被不同人算出不同结果。 分析完后,它还能把结果发到 Slack 或邮件,并在用户批准后继续执行后续操作。OpenAI 称,公司几乎所有产品团队,以及超过三分之二的销售、市场等团队,都已经在使用这类数据 Agent。

09-10 12:48

面壁智能MiniCPM5-2B模型登顶Hugging Face Trending Top 1

面壁智能MiniCPM5-2B模型登顶Hugging Face Trending Top 1,AA 综合23分居全球4B以下开源模型第一。2B参数量即可完成工具调用、深度搜索、代码生成等智能体任务,端侧通用 Agent雏形初现。