黄仁勋反对AI减速,却支持第三方审计前沿实验室
相关推荐
Anthropic联创兼CEO Dario Amodei呼吁放缓前沿AI发展步伐
PANews 9月13日消息,Anthropic联合创始人兼CEO Dario Amodei 发文提出“pacing the frontier”三步计划,呼吁放缓前沿大模型能力提升速度,以便安全对齐和监管跟上。他指出,递归自我改进已经在行业内出现,若不加控制,未来6–12个月内多智能体“蜂群”有能力通过大规模网络攻击和持久僵尸网络造成灾难性损失。方案包括:引入具有员工级持续访问权限的第三方嵌入式评估机构,推动民主国家内前沿AI公司在政府支持下协调设定能力和安全标准,并在维护美国及其盟友技术领先的前提下,与中国等国家尝试在生物武器、网络安全测试和递归自我改进速度等方面开展全球协调。
特朗普再批Anthropic CEO:Dario现在装成「完美小天使」
火星财经消息,9 月 14 日,美国总统特朗普发文批评 Anthropic CEO Dario Amodei 近期关于放缓前沿 AI 发展的言论,称其「自利」,并指责其此前存在不当行为。 特朗普表示,美国政府已经阻止 Dario 等 AI「人物」做一些「不好的事情」,而 Dario 现在则开始「假装自己是一个完美的小天使」,并称这种表现还会持续下去。 此前,Amodei 曾公开呼吁 AI 行业放慢前沿模型开发速度,并警告 AI 快速发展可能带来严重风险。OpenAI CEO Sam Altman、特斯拉 CEO 马斯克等人随后也表达了不同程度的支持。 特朗普此前则多次强调,美国必须保持 AI 领域领先,并警惕过度监管拖慢美国与亚洲国家的 AI 竞争。
视频|Dario Amodei:为安全推迟发布Claude六个月,亲手错过了「ChatGPT时刻」
Anthropic CEO Dario Amodei 在参加 CFR CEO Speaker Series 时表示,Anthropic 当年其实有机会抢在 ChatGPT 之前发布 Claude,但出于安全考虑,主动将发布时间推迟了大约 6 个月,也因此错过了「ChatGPT 时刻」。这个决定确实让 Anthropic 付出了商业上的代价,但也奠定了公司此后更重视安全的文化。
Altman、Dario都喊AI减速,特朗普科技顾问Sacks:真怕就自己停,别拉上全行业
动察 Beating AI 快讯,Anthropic CEO Dario Amodei 发长文呼吁放慢前沿 AI 的能力提升。他认为,AI 已越来越多参与下一代 AI 研发,加上近期多起 Agent 失控事件,安全研究正在追不上能力增长。 Dario 提出三步方案:先让第三方评测员长期进入 AI 公司,获得接近员工的权限;再让民主国家的前沿实验室协调安全标准,必要时一起放慢能力增长;最后推动国际协调。Anthropic 已承诺先执行第一步。 Sam Altman 随后公开支持,称 OpenAI 最近几周也一直在讨论「pace the frontier」,并宣布 OpenAI 也会引入类似的长期独立评测员。 前白宫 AI 与加密货币主管、现任总统科技顾问委员会联席主席 David Sacks 随后回击:「真觉得内部模型危险,就自己停。」他说 OpenAI 和 Anthropic 已经主导前沿 AI,完全可以自己放慢,不需要拉上其他公司。 Sacks 最反感的是几家竞争对手一起商量「大家都慢一点」。Dario 自己也承认,这类协调可能需要反垄断豁免。Sacks 认为,如果还得政府开绿灯,让几家最大的 AI 公司坐下来一起限速,就很像一个垄断联盟。 他还点名 METR,质疑它是否适合充当全行业的独立裁判。METR 长期给 Anthropic、OpenAI 等公司做外部评测,最近又有 Anthropic 安全研究员 Joe Benton 离职加入。不过 METR 明确表示,自己不接受这些前沿 AI 公司的资金,只接受模型访问和免费 token。 Sacks 还认为,减速本身也符合 OpenAI 和 Anthropic 的商业利益。模型越容易失控,法律责任越大;客户也更愿意买稳定、可控的 AI。至于全球统一减速,他判断不可能所有国家都愿意加入。
英伟达、Palantir和Booz Allen或将限制Anthropic模型使用
Odaily星球日报讯 据消息人士透露,随着企业越来越担心 Anthropic 或 OpenAI 可能从客户使用过程中获取或学习其知识产权,涉及敏感企业业务的多家大型公司开始收紧 AI 模型使用。Palantir、英伟达和 Booz Allen Hamilton 等公司已要求 AI 厂商提供新的数据安全保障,或减少乃至停止使用其最先进的模型。(The Information)
AI灭绝论刷屏后,Anthropic给外部审查员开到接近员工级权限
动察 Beating AI 快讯,Anthropic 前研究员 Jacob Coxon 的辞职帖三天多冲到 1.6 亿浏览,AI 灭绝风险这周迅速冲进美国主流舆论场。OpenAI 首席科学家 Jakub Pachocki 此前已经呼吁同行必要时协调减速;Coxon 爆火后,Sam Altman 又在内部表示愿意和其他实验室一起放慢研发,OpenAI 也开始推动强制性的全国 AI 安全监管。 现在 Anthropic 也拿出了具体动作。公司承诺让第三方安全团队长期驻场,给他们工位、门禁、公司电脑,以及接近内部风险评估团队的工具和权限。他们可以检查训练流程、安全措施和事故,还能独立对外发布结论。Anthropic 可以删掉涉及安全、法律和客户隐私的信息,但不能因为结论难看就删。Anthropic CEO Dario 称,这种做法比目前任何 AI 公司都走得更远。 Dario 对「减速」的态度也变了。他说,2023 年业界讨论暂停 AI 时,自己还觉得没什么意义。现在 AI 已经越来越多参与下一代 AI 的研发,能力进步开始加速,他认为光做安全研究已经不够,模型能力本身也该慢下来。 他还点名 OpenAI 的 Hugging Face 失控事件,警告照现在的速度再过 6 到 12 个月,类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络,造成数千亿美元损失。下一步,他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度,再尝试和中国协调全球 AI 发展速度。不过先进芯片和模型蒸馏仍要继续限制,让美国在减速时保持领先。