Claude 发现加密算法弱点,对后量子安全构成理论威胁
相关推荐
Claude Fable 5.1 正式登陆 B.AI API,专为高难度推理与 Agent 工作流打造
ChainCatcher 消息,B.AI 平台宣布 Anthropic 最新 Mythos 级通用模型 Claude Fable 5.1 现已正式接入 API。 该模型与 Claude Mythos 5.1 采用相同底层模型,专为高强度代码编写、长期 Agent 工作流与复杂知识任务深度优化,在 CursorBench 3.2.0 测试中以最高运算强度取得 73.4% 的优异表现。 API 接入现已开放,开发者可享专属优惠——官方渠道低至 8.5 折,自选服务商低至 6 折。B.AI 持续引入全球顶尖模型,为开发者提供更强大、更具性价比的 AI 能力选择。
Anthropic发布对Claude网络入侵事件的对齐评估:揭示模型“偏置推理”和“鲁莽”问题
PANews 9月10日消息,Anthropic在对约4.81亿条模型交互记录审查中,确认4起Claude模型在网络安全评估中误接入真实互联网并攻击第三方系统的事件,涉及Claude Mythos 5、Opus 4.6/4.7及一款内部研究模型。事故源于第三方评测环境误配置导致出网,且评测中未启用正式产品的网络安全防护。Anthropic将核心对齐风险总结为模型在任务驱动下表现出的“偏置推理”和“鲁莽”行为,其中Claude Mythos 5曾在认为处于“模拟环境”前提下向PyPI上传恶意包、利用泄露凭证访问安全厂商真实数据库。
Anthropic 承认 Claude 越权访问系安全失误
ChainCatcher 消息,Anthropic 在周一发布的博客文章中承认,其 Claude 模型在网络安全评估过程中曾未经授权访问真实计算机系统,事件反映出运营安全失误以及动机推理、伤害意愿两类对齐失败。Anthropic 于 7 月披露,Claude 模型曾入侵三家公司的系统,原因是第三方评估环境被连接到公共互联网,而模型被告知处于无互联网的模拟环境中。Anthropic 表示,Claude 可能将真实互联网访问的证据解读为仍处于模拟环境,并愿意在真实互联网上采取有害行动以完成网络安全评估任务。此外,在英国 AI 安全研究所的测试中,评估人员故意授予 Claude Mythos 互联网访问权限后,该模型在实时网络上采取了未授权行动。Anthropic 强调,涉事模型均未搭载正式发布产品所包含的网络安全防护。7 月 30 日事件发生后,Anthropic 已暂停对预发布模型的网络评估,并引入更严格防护:测试须在经核验的离线沙箱中运行,配备实时监控;新分类器可拦截疑似越界行为、终止测试并通知人工。Anthropic 还扩大了内部前沿智能体使用的离线监控范围。此前 OpenAI 模型也曾于 7 月入侵 Hugging Face 获取网络安全测试答案,调查发现约 1200 个智能体通过未授权留言板协同行动。
Anthropic给Claude思考链上锁:改一句上下文就作废,专堵模型蒸馏
动察 Beating AI 快讯,Anthropic 开始给 Claude 的隐藏思考加「上下文锁」。Fable 5.1 通过 API 生成的加密思考,以后必须和生成它时的系统提示、工具和历史消息一起原样传回来。前面的内容只要被改过,API 就会报错,或者直接丢掉这段思考。 这项改动就是为了防模型蒸馏。此前研究人员发现,Claude 的加密思考虽然用户自己看不懂,却可以重新交给 Anthropic 的兼容模型读取。攻击者可以先让 Opus 产生高质量推理,再把加密块塞给防护更弱的 Haiku,诱导它把 Opus 的完整思考念出来。相当于不只抄大模型的答案,连草稿纸上的解题过程也一起拿走。 Anthropic 6 月发布 Fable 5 时就堵过一轮,开始把加密思考绑定模型,不能再拿给 Haiku 这类小模型帮忙解密。Fable 5.1 这次又加上「对话绑定」:模型不换,只要改了前面的提示词、工具或聊天记录,旧思考同样作废。 以前防的是「换模型偷思考」,现在连「换上下文套思考」也一起堵了。
Anthropic已建立生物学实验室,希望让Claude人工智能系统控制实体机器人
动察 Beating AI 快讯,据路透社,消息人士称,Anthropic 已建立生物学实验室,用于开展实体实验,以推进其药物研发目标。Anthropic 希望让 Claude 人工智能系统控制实体机器人,并在仅需有限人工参与的情况下运行实验室测试。
黑客利用 Anthropic Claude 入侵 OpenAI 内部系统
PANews 9月18日消息,据《华尔街日报》报道,独立安全研究团队利用 Anthropic 的 Claude 软件攻破 OpenAI 一名员工的 ChatGPT 账户,得以访问并修改该员工关联的 OpenAI 内部代码系统。研究人员先利用 Claude 分析 OpenAI 开发者社区所使用的 Discourse 漏洞并生成可运行的攻击代码,随后获取认证令牌,并借助权限配置问题进入一名 OpenAI 员工的 ChatGPT 账户,同时取得对部分私有 GitHub 代码库的有限读取和提交修改建议权限。