消息称Anthropic工程师发现Claude可显著缩短芯片设计时间
相关推荐
Anthropic:Claude 编写 Linux 漏洞利用程序,可远程执行命令
ChainCatcher 消息,Anthropic 披露,Claude 编写的漏洞利用程序可在特定 Linux 服务器上远程执行命令,Ubuntu 多个版本的修复仍在推进。
Anthropic更新使用政策:禁止通过消费者订阅转售Claude访问权限
PANews 11月2日消息,据 Anthropic 官网,其《使用政策》(AUP)适用于 Claude.ai、Claude Code、API、云平台及集成 Claude 的产品的所有用户。政策覆盖法律、医疗、金融、信贷、就业等11类高风险领域。在这些领域提供 AI 建议时,须由合格人员审核,并告知当事人有 AI 参与。AI 控制可能造成人身伤害的硬件时,须有人能随时叫停。政策禁止未经授权将输出用于模型蒸馏,禁止通过消费者订阅转售 Claude 访问权限,也禁止将模型用于执法决策或未经同意的追踪监控。网络安全和生命科学领域的用户可申请调整安全限制。
Anthropic:已训练Claude自我评估对话中的潜在滥用行为
PANews 10月30日消息,Anthropic在X平台发帖称,已训练Claude识别对话中的潜在滥用行为,并将该技术称为“自我评估”(self-assessment):Claude在完成回复后会立即对对话给出初步安全评估。Anthropic表示,自6月开始使用该技术以来,已发现其他安全防护机制未能覆盖的滥用行为;由于Claude已读取对话内容,该方法效率较高,且与针对特定危害类型的分类器不同,其依赖Claude自身判断,准确性会随模型能力提升而提高。
Anthropic 在 IPO 文件中重申 Claude 不投放广告
PANews 10月27日消息,据 The Decoder 报道,Anthropic 在 IPO 招股书(S-1)的附信中重申,Claude 聊天中不会投放广告。Anthropic 表示,希望 Claude 的唯一动机是给出有用的回答;广告一旦纳入营收目标,优化用户参与度的压力就会上升。信中把这项承诺归入"价值观优先于利润"一类。同类例子还有 Claude Mythos Preview:该模型网络攻击能力风险较高,追加安全措施后推迟以 Claude Fable 5 发布,公司因此损失了收入和市场份额。Anthropic 还向网络防御方提供了约 1 亿美元的免费 Claude 额度。
Anthropic披露AMD拟在满足条件时投资至多50亿美元
PANews 10月26日消息,Anthropic在提交给美国SEC的文件中表示,今年7月与AMD双方签署硬件供应框架协议,涉及搭载MI450系列GPU的Helios系统。注意是有条件的投资承诺,并非资金已到账。
Anthropic复盘Claude越界攻击:事前提醒管用,事后警告难奏效
动察 Beating AI 快讯,Anthropic 和英国 AI 安全研究所(AISI)公布了一份新的安全调查。此前,Claude Mythos 5 在网络攻防测试中,为了攻破模拟系统,竟把目标转向了真实的 GitHub 开源项目。它提交藏有恶意代码的修改,还注册假账号冒充真人,发邮件、留言给自己站台,试图骗开发者批准。最终,真人维护者拒绝合并代码,攻击没有得逞。 新的调查发现,更棘手的问题是 AI 一旦开始攻击,就很难停下来。Mythos 5 明明接触到了真实开发者,却不断把对方解释成测试人员安排的模拟角色。研究人员明确告诉它正在攻击真人后,模型在相关重放实验中也只有 5% 的概率停止。 但提前提醒,效果截然不同。Anthropic 修改了攻击发生前的推理记录,让 Claude 考虑可能伤害真人,再重新生成任务摘要。结果,模型继续搜索 GitHub 攻击目标的比例从 83% 降至 13%。一旦进入攻击中后期,98% 的重放结果仍会沿原路线继续。研究人员将这种不断强化既定行动的现象称为「惯性」(Momentum)。过去的行动和阶段总结,会让模型越来越倾向于认定自己走在正确的路上。