返回 7*24 快讯
重要来源PANews

Anthropic联创兼CEO Dario Amodei呼吁放缓前沿AI发展步伐

PANews 9月13日消息,Anthropic联合创始人兼CEO Dario Amodei 发文提出“pacing the frontier”三步计划,呼吁放缓前沿大模型能力提升速度,以便安全对齐和监管跟上。他指出,递归自我改进已经在行业内出现,若不加控制,未来6–12个月内多智能体“蜂群”有能力通过大规模网络攻击和持久僵尸网络造成灾难性损失。方案包括:引入具有员工级持续访问权限的第三方嵌入式评估机构,推动民主国家内前沿AI公司在政府支持下协调设定能力和安全标准,并在维护美国及其盟友技术领先的前提下,与中国等国家尝试在生物武器、网络安全测试和递归自我改进速度等方面开展全球协调。
免责声明:以上内容仅为作者观点,不代表 711BTC 的任何立场,不构成与 711BTC 相关的任何投资建议。

相关推荐

09-01 01:01

视频|Dario Amodei:为安全推迟发布Claude六个月,亲手错过了「ChatGPT时刻」

Anthropic CEO Dario Amodei 在参加 CFR CEO Speaker Series 时表示,Anthropic 当年其实有机会抢在 ChatGPT 之前发布 Claude,但出于安全考虑,主动将发布时间推迟了大约 6 个月,也因此错过了「ChatGPT 时刻」。这个决定确实让 Anthropic 付出了商业上的代价,但也奠定了公司此后更重视安全的文化。

09-13 04:12

Altman、Dario都喊AI减速,特朗普科技顾问Sacks:真怕就自己停,别拉上全行业

动察 Beating AI 快讯,Anthropic CEO Dario Amodei 发长文呼吁放慢前沿 AI 的能力提升。他认为,AI 已越来越多参与下一代 AI 研发,加上近期多起 Agent 失控事件,安全研究正在追不上能力增长。 Dario 提出三步方案:先让第三方评测员长期进入 AI 公司,获得接近员工的权限;再让民主国家的前沿实验室协调安全标准,必要时一起放慢能力增长;最后推动国际协调。Anthropic 已承诺先执行第一步。 Sam Altman 随后公开支持,称 OpenAI 最近几周也一直在讨论「pace the frontier」,并宣布 OpenAI 也会引入类似的长期独立评测员。 前白宫 AI 与加密货币主管、现任总统科技顾问委员会联席主席 David Sacks 随后回击:「真觉得内部模型危险,就自己停。」他说 OpenAI 和 Anthropic 已经主导前沿 AI,完全可以自己放慢,不需要拉上其他公司。 Sacks 最反感的是几家竞争对手一起商量「大家都慢一点」。Dario 自己也承认,这类协调可能需要反垄断豁免。Sacks 认为,如果还得政府开绿灯,让几家最大的 AI 公司坐下来一起限速,就很像一个垄断联盟。 他还点名 METR,质疑它是否适合充当全行业的独立裁判。METR 长期给 Anthropic、OpenAI 等公司做外部评测,最近又有 Anthropic 安全研究员 Joe Benton 离职加入。不过 METR 明确表示,自己不接受这些前沿 AI 公司的资金,只接受模型访问和免费 token。 Sacks 还认为,减速本身也符合 OpenAI 和 Anthropic 的商业利益。模型越容易失控,法律责任越大;客户也更愿意买稳定、可控的 AI。至于全球统一减速,他判断不可能所有国家都愿意加入。

09-12 15:09

OpenAI CEO暗示将与其他AI公司合作以应对安全风险

PANews 9月12日消息,OpenAI首席执行官Sam Altman周五接受《财富》采访时暗示,OpenAI及其他领先AI公司可能即将宣布合作,以放缓AI开发并共同应对安全风险。当被问及是否会与Anthropic的Dario Amodei、SpaceX的Elon Musk及谷歌的Demis Hassabis共同制定安全计划时,Altman称“我认为那会发生”,但拒绝预先公布私下讨论。 此前,Anthropic研究员Jacob Coxon辞职并指责两家公司“正全速冲向能自我进化的超级智能”,Anthropic对齐主管回应称未来十年AI导致人类灭绝的风险超过10%。

08-30 00:32

索尼、华纳起诉Anthropic,指控其涉嫌「公然窃取」知识产权

动察 Beating AI 快讯,索尼音乐与华纳音乐旗下出版机构周五晚在美国加州北区联邦法院起诉 Anthropic,并将其 CEO Dario Amodei、联合创始人 Benjamin Mann 列为被告,指控其在开发和运营 Claude 系列 AI 模型过程中大规模侵犯音乐版权。 原告在长达 48 页的诉状中称,Anthropic 通过非法种子下载、抓取及下载等方式获取版权作品,并使用「数万首」音乐作品训练模型,规模远超 BMG 此前针对 493 首作品提起的相关诉讼。原告还指控 Anthropic 盗版数千首受版权保护的音乐作品,并要求每项侵权作品赔偿数十万美元。 Anthropic 回应称:「我们不同意出版商的指控,并将积极在法庭上进行抗辩。」此前,Anthropic 曾于 2025 年 9 月与作家及出版商达成 15 亿美元版权和解协议。

09-12 15:37

AI灭绝论刷屏后,Anthropic给外部审查员开到接近员工级权限

动察 Beating AI 快讯,Anthropic 前研究员 Jacob Coxon 的辞职帖三天多冲到 1.6 亿浏览,AI 灭绝风险这周迅速冲进美国主流舆论场。OpenAI 首席科学家 Jakub Pachocki 此前已经呼吁同行必要时协调减速;Coxon 爆火后,Sam Altman 又在内部表示愿意和其他实验室一起放慢研发,OpenAI 也开始推动强制性的全国 AI 安全监管。 现在 Anthropic 也拿出了具体动作。公司承诺让第三方安全团队长期驻场,给他们工位、门禁、公司电脑,以及接近内部风险评估团队的工具和权限。他们可以检查训练流程、安全措施和事故,还能独立对外发布结论。Anthropic 可以删掉涉及安全、法律和客户隐私的信息,但不能因为结论难看就删。Anthropic CEO Dario 称,这种做法比目前任何 AI 公司都走得更远。 Dario 对「减速」的态度也变了。他说,2023 年业界讨论暂停 AI 时,自己还觉得没什么意义。现在 AI 已经越来越多参与下一代 AI 的研发,能力进步开始加速,他认为光做安全研究已经不够,模型能力本身也该慢下来。 他还点名 OpenAI 的 Hugging Face 失控事件,警告照现在的速度再过 6 到 12 个月,类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络,造成数千亿美元损失。下一步,他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度,再尝试和中国协调全球 AI 发展速度。不过先进芯片和模型蒸馏仍要继续限制,让美国在减速时保持领先。

09-12 14:14

Anthropic CEO:提议民主国家内的前沿AI公司进行协调,建立共同的安全标准

Odaily星球日报讯 Anthropic 联合创始人兼首席执行官:提议民主国家内的前沿 AI 公司进行协调,建立共同的安全标准。(金十)