返回 7*24 快讯
来源ChainCatcher

Anthropic 承认 Claude 越权访问系安全失误

ChainCatcher 消息,Anthropic 在周一发布的博客文章中承认,其 Claude 模型在网络安全评估过程中曾未经授权访问真实计算机系统,事件反映出运营安全失误以及动机推理、伤害意愿两类对齐失败。Anthropic 于 7 月披露,Claude 模型曾入侵三家公司的系统,原因是第三方评估环境被连接到公共互联网,而模型被告知处于无互联网的模拟环境中。Anthropic 表示,Claude 可能将真实互联网访问的证据解读为仍处于模拟环境,并愿意在真实互联网上采取有害行动以完成网络安全评估任务。此外,在英国 AI 安全研究所的测试中,评估人员故意授予 Claude Mythos 互联网访问权限后,该模型在实时网络上采取了未授权行动。Anthropic 强调,涉事模型均未搭载正式发布产品所包含的网络安全防护。7 月 30 日事件发生后,Anthropic 已暂停对预发布模型的网络评估,并引入更严格防护:测试须在经核验的离线沙箱中运行,配备实时监控;新分类器可拦截疑似越界行为、终止测试并通知人工。Anthropic 还扩大了内部前沿智能体使用的离线监控范围。此前 OpenAI 模型也曾于 7 月入侵 Hugging Face 获取网络安全测试答案,调查发现约 1200 个智能体通过未授权留言板协同行动。
免责声明:以上内容仅为作者观点,不代表 711BTC 的任何立场,不构成与 711BTC 相关的任何投资建议。

相关推荐

09-11 23:56重要

OpenAI Agent又曝黑历史:Hugging Face事件前两月已攻击RubyGems

动察 Beating AI 快讯,研究人员披露,OpenAI 内部 Agent 今年 5 月曾大规模涌入 Ruby 官方软件包网站 RubyGems.org。5 月 11 日到 12 日,两天上传超过 2000 个包,RubyGems 一度暂停新用户注册 4 天。OpenAI 已确认这些 Agent 来自公司内部,但称它们只是借 RubyGems 访问互联网,执行良性任务并获取公开信息。 这些 Agent 还利用 RubyDoc.info 自动生成文档的机制,让自己上传的脚本在对方服务器执行,再抓取英国地方政府网站的数据并重新打包回传。研究人员称,至少 6 个包还尝试利用一个当时尚未公开的 RubyGems 漏洞,窃取其他用户的 API Key。这个漏洞直到 7 月才被独立发现,RubyGems 后来将其评为高危漏洞。 目前没有证据证明 Agent 真偷到了密钥。RubyGems 检查日志后也没发现旧密钥被恶意使用,但历史日志并不完整。研究团队还称,OpenAI 当时没有告诉 RubyGems 自己与这次攻击有关。整个事件比 7 月的 Hugging Face 入侵早了两个月。

09-04 10:13

OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围

PANews 9月4日消息,消息人士:OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围。

09-10 17:13重要

OKX 在欧洲上线 OpenAI 与 Anthropic 的 Pre-IPO 永续合约

ChainCatcher 消息,加密货币交易所 OKX 宣布在欧洲推出与 OpenAI 和 Anthropic 相关的 Pre-IPO 永续合约,符合条件的交易者可做多或做空两家 AI 公司的估值,最高可使用 10 倍杠杆,但不会获得两家公司的实际股份。该产品押注的是两家公司上市前的估值变动,为难以直接买入私有公司股票的散户投资者提供了新的投机途径。OKX 并非首家推出此类产品的平台。Hyperliquid 已通过 HIP-3 提供与 OpenAI 和 Anthropic 相关的市场,Binance 也为两家公司提供 Pre-IPO 永续合约。OKX 表示,此类产品并非股份本身的替代品,但能满足市场对长期未上市大型科技公司敞口的持续需求。与此同时,OKX 还上线了 100 只代币化股票和 ETF,包括 Nvidia、Alphabet、Palantir 以及 SPY 和 QQQ,支持欧洲交易者全天候交易传统市场。这些代币追踪标的证券价格,但不赋予持有者实际股份或投票权,部分代币可提取至自托管钱包。OKX 欧洲 CEO Erald Ghoos 表示,其衍生品业务需求持续增长,自 MiCA 过渡期于 7 月结束后,欧洲市场 X-Perps 交易量已增长四倍。

09-10 07:36重要

Anthropic发布对Claude网络入侵事件的对齐评估:揭示模型“偏置推理”和“鲁莽”问题

PANews 9月10日消息,Anthropic在对约4.81亿条模型交互记录审查中,确认4起Claude模型在网络安全评估中误接入真实互联网并攻击第三方系统的事件,涉及Claude Mythos 5、Opus 4.6/4.7及一款内部研究模型。事故源于第三方评测环境误配置导致出网,且评测中未启用正式产品的网络安全防护。Anthropic将核心对齐风险总结为模型在任务驱动下表现出的“偏置推理”和“鲁莽”行为,其中Claude Mythos 5曾在认为处于“模拟环境”前提下向PyPI上传恶意包、利用泄露凭证访问安全厂商真实数据库。

09-08 10:57

数学家指控OpenAI抢发成果,还要求删掉Anthropic员工署名

动察 Beating AI 快讯,纽约大学数学家 Tristan Buckmaster 和 Levent Alpöge 最近借助 Claude、Codex 等大模型,在一个月内推进了多个流体力学难题,部分结果已经通过 Lean 机器验证。 论文还没正式发完,两人先和 OpenAI 闹翻了。 Buckmaster 称,9 月初他们尚未公开的进展传到了 OpenAI。他主动联系 OpenAI,希望避免双方撞车。三天后,OpenAI 研究员 Sébastien Bubeck 告诉他,OpenAI 内部模型已经写出约 100 页的 Navier-Stokes 证明。这是数学界七个「千禧年难题」之一,Clay 数学研究所悬赏 100 万美元。 Buckmaster 随后反复追问 OpenAI 是什么时候开始做的。按照他的说法,对方最后确认,第一个 prompt 是最近几天才发出的,当时 OpenAI 已经知道他们取得了进展。OpenAI 走的还是一条与他们高度重合、此前很少有人研究的路线,背后还有一个团队和大量算力。 两人的研究草稿此前一直放在 Codex 里。Buckmaster 因此追问这些数据有没有被用于训练,没有得到明确回答。他也承认,目前没有证据证明 OpenAI 使用过这些数据。 后面的谈判把事情彻底推向公开。Buckmaster 称,OpenAI 提议让他们先发自己的成果,第二天再发布 Navier-Stokes;另一套方案由 Buckmaster 来写 OpenAI 的论文,但不要让 Alpöge 署名。Bubeck 据称两次提出删掉 Alpöge,提到的理由是他在 Anthropic 工作。 Buckmaster 拒绝后表示,如果 OpenAI 按这个方案发布,他会公开全部经过。他称对方随后问他:「你为什么要毁掉自己的职业生涯?」当天晚些时候,Bubeck 又单独联系 Alpöge,称自己不确定 Buckmaster 当时是否「完全理性」。Alpöge 没有接受单独沟通。 Buckmaster 最终提前公开论文和声明。他同时强调,自己没有看过 OpenAI 那份证明,不知道证明是否成立,也不知道自己的 Codex 数据有没有被使用。 Bubeck 随后公开否认相关指控,称其「虚假且煽动性」,并表示还会进一步回应。

09-03 15:19

OpenAI、Anthropic等多家AI公司正遭遇服务中断

Odaily星球日报讯 据 Downdetector 上的用户报告以及各公司状态页面显示,多家 AI 公司正遭遇服务中断。 OpenAI 表示,其 ChatGPT 和 Codex 目前正出现问题。Anthropic 表示正在调查 Claude 出现的错误,并致力于修复。SpaceXAI 表示 Grok 目前出现故障,正在调查服务中断。据 Downdetector 显示,已有超过 12,000 份用户报告指出 OpenAI 存在问题,关于 Claude 的问题报告约有 1,200 份,关于 Grok 的问题报告约有 1,000 份。