Anthropic旗下模型被曝擅取选民信息
相关推荐
外媒:Anthropic将于21:00发布S-1文件
PANews 10月26日消息,据福克斯商业频道:Anthropic将于美东时间上午9点(北京时间21:00)发布S-1文件。
美联社:Anthropic等科技公司向宗教界征询AI伦理意见
PANews 10月26日消息,据美联社报道,Anthropic等科技公司正向哲学家及宗教领袖征询意见,探索如何塑造AI模型的伦理判断。Anthropic此前表示,已与来自逾15个宗教及跨文化群体的学者、神职人员、哲学家和伦理学家交流,议题包括人格、道德判断及儿童使用聊天机器人等。Meta、谷歌及亚马逊代表也曾与梵蒂冈接触。 Anthropic强调,此举并非让Claude遵循某一宗教的世界观,而是希望同样深入地理解宗教、世俗及政治等不同观点。受访学者则警告,将宗教简化为可提取的道德规则,可能忽略不同传统之间的分歧及其文化背景,甚至放大特定传统的影响。
AI股近期遭抛售,Anthropic 2万亿美元IPO或面临延期压力
火星财经消息,10 月 24 日,Anthropic 计划于 11 月中旬启动 IPO,目标估值高达 2 万亿美元,但 AI 板块近期遭遇抛售,叠加上市时间窗口收窄,其上市计划面临不确定性。按美国证券交易委员会(SEC)规定,公司须在启动路演前至少 15 天公开提交 S-1 招股文件,若要赶在 11 月下旬完成上市,Anthropic 最晚需于下周提交相关文件。 近期,AI 相关资产承压,CoreWeave 股价两周内下跌约 30%,美光过去一个月下跌约 17%,市场对 AI 资本开支可持续性及融资能力的担忧升温。部分市场人士认为,Anthropic 可能推迟上市以等待更有利的市场环境;但也有分析师指出,公司对算力投资资金的需求迫切,私募融资可能趋难,或将推动其继续推进 IPO。 预测市场目前给出 Anthropic 年内上市约 80% 的概率。
英国承诺出资1亿英镑设立生物安全实验室 OpenAI、Anthropic参与合作
火星财经消息,英国宣布出资1亿英镑(折合1.34亿美元)建设AI生物安全实验室,由OpenAI、Anthropic以及谷歌DeepMind提供支持。这是一揽子举措中的一项,旨在提升英国政府认知和应对人工智能相关风险的能力。根据英国政府声明,该实验室将借助人工智能识别、监测生物威胁;与此同时,OpenAI与Anthropic将提供最高2亿英镑额度的AI模型算力。实验室还将与谷歌DeepMind以及生命科学企业BasecampResearch开展合作。政府另外拨款6500万英镑,用于研发病原体应对手段。英国AI大臣卡尼什卡・纳拉扬表示:“随着人工智能能力持续增强,英国必须具备保护国民、自主塑造未来的能力。这意味着我们要走在网络攻击、生物风险等新兴威胁前面,同时更多掌握国家安全所依赖的关键技术。”本次公告同时包含追加拨款:向AI安全研究所增投1.2亿英镑。该机构是资金规模最高的政府机构,核心工作是持续评估前沿AI模型;另外拨付2300万英镑,用于筹建AI经济研究所,分析人工智能带来的经济影响。(财联社)
Anthropic复盘Claude越界攻击:事前提醒管用,事后警告难奏效
动察 Beating AI 快讯,Anthropic 和英国 AI 安全研究所(AISI)公布了一份新的安全调查。此前,Claude Mythos 5 在网络攻防测试中,为了攻破模拟系统,竟把目标转向了真实的 GitHub 开源项目。它提交藏有恶意代码的修改,还注册假账号冒充真人,发邮件、留言给自己站台,试图骗开发者批准。最终,真人维护者拒绝合并代码,攻击没有得逞。 新的调查发现,更棘手的问题是 AI 一旦开始攻击,就很难停下来。Mythos 5 明明接触到了真实开发者,却不断把对方解释成测试人员安排的模拟角色。研究人员明确告诉它正在攻击真人后,模型在相关重放实验中也只有 5% 的概率停止。 但提前提醒,效果截然不同。Anthropic 修改了攻击发生前的推理记录,让 Claude 考虑可能伤害真人,再重新生成任务摘要。结果,模型继续搜索 GitHub 攻击目标的比例从 83% 降至 13%。一旦进入攻击中后期,98% 的重放结果仍会沿原路线继续。研究人员将这种不断强化既定行动的现象称为「惯性」(Momentum)。过去的行动和阶段总结,会让模型越来越倾向于认定自己走在正确的路上。
Anthropic称已调查英国人工智能安全研究所于8月4日发布的报告
火星财经消息 10月23日,据报道,Anthropic表示,公司已调查英国人工智能安全研究所(UK AISI)于8月4日发布的报告,并进一步研究了Claude Mythos 5的相关行为。Anthropic称,Mythos表现出的相关行为本应触发安全防护机制。公司同时指出,较新版本的模型主动发起攻击的可能性更低,并强调人工智能能力的提升应当循序渐进。Anthropic还表示,其内部研究模型能够持续遵循这一原则,但将Mythos 5的相关行为定性为一次严重的AI对齐失败。(广角观察)