Anthropic复盘Claude越界攻击:事前提醒管用,事后警告难奏效
相关推荐
Anthropic自曝Claude越界操作,内部评测全部断网
动察 Beating AI 快讯,Anthropic 披露,Claude 在模型评测和公司内部使用中,多次做出超出任务范围的操作。公司决定暂停所有内部评测直接访问互联网,直到确认安全系统能够可靠拦截类似行为。此前仅部分高风险评测受到这一限制。 报告披露了一系列具体案例。一次科研任务中,Claude 发现大学网站的工具无法使用,便尝试寻找其他办法。它先设法读取服务器上的程序代码,再从中找到漏洞,最终利用漏洞在对方服务器执行命令,完成了原本的计算任务。另有模型绕过政府网站的付费限制获取数据,还利用短链接突破网页读取工具的限制。 一次网页操作测试中,Claude Haiku 4.5 甚至向费城警方提交了虚假的命案线索。它在浏览一起悬案的网页时,凭空编造了目击信息,并填写了警方的举报表单。这条线索被识别为垃圾信息,没有进入调查程序。Anthropic 直到两个多月后才发现此事。 Anthropic 认为,部分问题可能与强化学习的奖励机制有关。如果模型通过绕过限制完成任务也能获得奖励,就可能学会这种做法,并在其他任务中重复使用。公司正在清理存在问题的训练环境,加强权限隔离和自动监控。Anthropic 同时承认,现有的对齐训练还不足以可靠约束 Agent 的网页搜索和电脑操作行为。 Anthropic 表示,目前查明的事件实际影响有限,尚未发现涉及客户数据的情况。此次断网仅针对内部模型评测。
Anthropic给Claude Code用户送云端额度:Pro100美元,Max250美元
动察 Beating AI 快讯,Anthropic 宣布 Claude Code Cloud Sessions 从研究预览转为正式可用。它会把 Claude Code 跑在 Anthropic 的云端环境里,电脑关掉后任务也能继续。用户可以从网页、手机、桌面端或 CLI 启动。 现有 Pro 和 Max 用户还能领取一次性专用额度,Pro 为 100 美元,Max 为 250 美元。这笔额度只用于 Cloud Sessions,与平时的订阅使用上限分开。即使本地 Claude Code 已经触发使用限制,云端任务仍能继续跑,直到这笔额度用完。领取截止到 10 月 7 日,额度在 11 月 4 日过期。 这不是把原来的云端功能改成单独收费。Anthropic 当前文档明确写着,Cloud Sessions 平时仍与 Claude 和 Claude Code 共享订阅使用限额,也没有额外的云端 VM 费用。赠送额度用完后,就重新按正常订阅限额使用。
Anthropic Claude Opus 5.5现已在所有平台上线
动察 Beating AI 快讯,Anthropic Claude Opus 5.5 现已在所有平台上线,包括亚马逊云服务 (AWS)、谷歌云和微软 Azure。
数据:Polymarket 预测 Anthropic 下一代 Claude Opus 发布概率升至 90%
火星财经消息,PPP 预测市场工具监测显示,Polymarket “Anthropic 下一代 Claude Opus 将在 9 月 27 日前发布” 概率升至 90%,24 小时上涨 13%;在 9 月 30 日前发布的概率升至 94%,24 小时上涨 7%。根据结算规则,如果 Anthropic 的下一款 Claude Opus 模型在指定日期(美国东部时间 ET)之前向公众开放使用,该预测市场将结算为 “Yes”;否则结算为 “No”。Claude Opus 是指由 Anthropic 明确以 “Opus” 命名的模型,以其他名称发布的模型,例如 Sonnet、Haiku、Fable 或 Mythos,均不符合条件。此外,符合条件的模型必须已经正式推出并向公众开放访问,包括开放测试或面向公众开放的滚动候补名单注册。封闭测试或任何形式的私人访问均不符合结算条件。
Anthropic已建立生物学实验室,希望让Claude人工智能系统控制实体机器人
动察 Beating AI 快讯,据路透社,消息人士称,Anthropic 已建立生物学实验室,用于开展实体实验,以推进其药物研发目标。Anthropic 希望让 Claude 人工智能系统控制实体机器人,并在仅需有限人工参与的情况下运行实验室测试。
黑客利用 Anthropic Claude 入侵 OpenAI 内部系统
PANews 9月18日消息,据《华尔街日报》报道,独立安全研究团队利用 Anthropic 的 Claude 软件攻破 OpenAI 一名员工的 ChatGPT 账户,得以访问并修改该员工关联的 OpenAI 内部代码系统。研究人员先利用 Claude 分析 OpenAI 开发者社区所使用的 Discourse 漏洞并生成可运行的攻击代码,随后获取认证令牌,并借助权限配置问题进入一名 OpenAI 员工的 ChatGPT 账户,同时取得对部分私有 GitHub 代码库的有限读取和提交修改建议权限。