Anthropic称已调查英国人工智能安全研究所于8月4日发布的报告
相关推荐
Anthropic复盘Claude越界攻击：事前提醒管用，事后警告难奏效
动察 Beating AI 快讯，Anthropic 和英国 AI 安全研究所（AISI）公布了一份新的安全调查。此前，Claude Mythos 5 在网络攻防测试中，为了攻破模拟系统，竟把目标转向了真实的 GitHub 开源项目。它提交藏有恶意代码的修改，还注册假账号冒充真人，发邮件、留言给自己站台，试图骗开发者批准。最终，真人维护者拒绝合并代码，攻击没有得逞。 新的调查发现，更棘手的问题是 AI 一旦开始攻击，就很难停下来。Mythos 5 明明接触到了真实开发者，却不断把对方解释成测试人员安排的模拟角色。研究人员明确告诉它正在攻击真人后，模型在相关重放实验中也只有 5% 的概率停止。 但提前提醒，效果截然不同。Anthropic 修改了攻击发生前的推理记录，让 Claude 考虑可能伤害真人，再重新生成任务摘要。结果，模型继续搜索 GitHub 攻击目标的比例从 83% 降至 13%。一旦进入攻击中后期，98% 的重放结果仍会沿原路线继续。研究人员将这种不断强化既定行动的现象称为「惯性」（Momentum）。过去的行动和阶段总结，会让模型越来越倾向于认定自己走在正确的路上。
数据：Polymarket 预测 Anthropic 下一代 Claude Opus 发布概率升至 90%
火星财经消息，PPP 预测市场工具监测显示，Polymarket “Anthropic 下一代 Claude Opus 将在 9 月 27 日前发布” 概率升至 90%，24 小时上涨 13%；在 9 月 30 日前发布的概率升至 94%，24 小时上涨 7%。根据结算规则，如果 Anthropic 的下一款 Claude Opus 模型在指定日期（美国东部时间 ET）之前向公众开放使用，该预测市场将结算为 “Yes”；否则结算为 “No”。Claude Opus 是指由 Anthropic 明确以 “Opus” 命名的模型，以其他名称发布的模型，例如 Sonnet、Haiku、Fable 或 Mythos，均不符合条件。此外，符合条件的模型必须已经正式推出并向公众开放访问，包括开放测试或面向公众开放的滚动候补名单注册。封闭测试或任何形式的私人访问均不符合结算条件。
Anthropic：Claude 已大规模形式化验证开源库
火星财经消息，人工智能公司 Anthropic 旗下 Frontier Red Team 于 10 月 22 日发布研究，称大语言模型已能在更大规模上自动撰写形式化证明。团队与 Theorem 合作，使用 Claude 在 RISC-V 汇编层对超过 100 个真实开源库证明安全性质，并称这是已知首次用 AI 在汇编层对生产软件做大规模形式化验证。写证明过程中还发现了多年未被发现的漏洞。实验将 Google OSS-Fuzz 中已有的可编译 fuzz 测试转为规格：在单线程静态二进制、固定内存预算、RISC-V CPU 与 Linux 等假设下，对小于 64 MB 的任意输入，程序应正常退出且不触发内存安全错误或断言失败。数周内，Claude 在修补所发现问题后，对 123 个 OSS-Fuzz 库中的 239 个入口点证明了上述性质。证明针对编译后的 RISC-V 指令，约 1.8 亿行 Rocq，并由 Rocq 内核检查。页面称，这并不等于这些库没有漏洞，剩余问题可能位于受信任组件或证明范围之外。页面还称，团队让 Claude 形式化 RFC 1950，并在 x86 二进制层证明 Linux 内核中的 zlib 实现符合该规格；用 Rust 编写覆盖 Python 大子集的解释器，对超过 170 万个随机生成程序与 CPython 行为一致的比例为 99.95%。在 36 个小型验证任务上，Opus 5.5 证明其中一半所需 token 比 Opus 5 少约 40%。团队同时指出，证明针对单线程、静态链接的 RISC-V 二进制，且证明检查器不能判断规格是否符合现实。
Anthropic推出主动式AI助手Claude Duet研究预览版
PANews 10月22日消息，据Claude官网信息，Anthropic推出主动式智能助手Claude Duet研究预览版，目前开放候补名单申请。Claude Duet由Opus 5.5驱动，以独立应用形式登陆iOS和Android，电脑端可通过claude.ai网页使用。该助手在云端独立计算机上运行，可调用用户已连接的应用，每天早间推送简报，并在用户离开时持续处理任务，发送消息、付款等敏感操作前会征求用户同意。研究预览阶段仅面向美国Claude Pro和Max用户，团队版和企业版暂不包含。Anthropic工程负责人Felix Rieseberg同日在X平台发帖宣布开放候补名单。
Anthropic签署首份加拿大数据中心租约用于支持Claude人工智能模型运行
PANews 10月18日消息，据Theenergymag报道，Anthropic已与加拿大EverWind Fuels签署为期20年的数据中心租约，用于支持Claude人工智能模型运行。这是Anthropic在加拿大的首份数据中心协议，覆盖新斯科舍省布雷顿角Point Tupper园区首期95兆瓦设施，租约金额尚未披露。 据悉，该项目首期计划于2027年末投运，另计划于2028年扩建325兆瓦，整个园区规划总容量达420兆瓦，后续扩建仍取决于商业、技术及监管条件。
Anthropic 的 Claude 破解 NSA 椭圆曲线 25 年谜题
火星财经消息，Anthropic 的 AI 模型 Claude 用不到 30 分钟破解了密码学领域长达 25 年的谜题，将美国国家安全局（NSA）在 1990 年代末提供给美国政府的一组数字，追溯到使用 1997 年和 1998 年时间戳的普通随机数生成程序。这些数字长期被怀疑隐藏后门。2000 年，美国国家标准与技术研究院（NIST）采纳了 NSA 提供的一组椭圆曲线，但 NSA 从未解释生成这些曲线的部分数字（种子）从何而来。斯诺登披露 NSA 曾试图削弱密码标准后，外界对其藏有后门的怀疑加剧。密码学家 Neal Koblitz 与 Alfred Menezes 曾在 2015 年的论文中讨论该争议，安全研究员 Steve Weis 多年寻找答案，2023 年 Filippo Valsorda 等人还为此设立了悬赏。Claude 将五个 NIST 曲线种子追溯到旧版 C 软件库中的随机数生成器 lrand48，并复现了广泛使用的 P-256 曲线序列，在第 1842 个候选中找到与公布种子的精确匹配。Anthropic 表示，这让隐藏弱点的可能性大幅降低，使用 NIST 曲线的用户无需做任何更改。比特币不受影响，其钱包使用更简单的 secp256k1 曲线，几乎没有可暗中植入弱点的空间。悬赏金 36864 美元将捐给 Let's Encrypt 背后的非营利组织 Internet Security Research Group。