黄仁勋：AI导致人类在2030年前灭亡的概率为「0%」
相关推荐
Anthropic研究员Jacob Coxon决定退出人工智能行业，因担忧无法控制且能自我改进的系统
PANews 9月9日消息，据华尔街日报：Anthropic研究员Jacob Coxon决定退出人工智能行业，原因是他担心各公司正竞相开发无法控制且能自我改进的系统。
前Zora CEO Jacob Horne加入Polymarket，将负责DeFi产品升级
PANews 9月18日消息，Polymarket创始人兼CEO Shayne Coplan在X平台宣布，前Zora CEO Jacob Horne已加入Polymarket，将与其紧密合作推进产品建设，重点改善Polymarket的DeFi业务。Coplan表示，随着平台规模扩大，其链上产品表现有所下滑，团队已注意到长期用户的不满，并正推动不同产品的整合。Polymarket近期还将举行DeFi线上会议，收集社区反馈并公布后续产品改进计划。
Anthropic CEO：就算模型今天停更，现有AI可能也只用了5%–10%的价值
动察 Beating AI 快讯，Anthropic CEO Dario Amodei 在 Salesforce 年度大会 Dreamforce 上表示，即使模型能力从今天开始不再进步，人们可能也只开发出了现有 AI 潜在价值的 5%–10%。 他认为，模型能力已经跑在实际应用前面。很多企业和普通用户甚至还不知道现有 AI 已经能做什么，更谈不上把这些能力真正用进日常工作。 Dario 举了 Anthropic 自己的例子。公司内部已经有人让 Claude 直接结合 Salesforce 数据，找出本周最大的交易、最可能丢掉的订单，再分析项目的问题和成单机会。这些能力今天已经能用，但真正把它们用起来的人还很少。 这也补充了他最近关于「放慢前沿 AI」的主张。Dario 想放慢的是最前沿模型继续变强的速度，并不主张放慢 AI 应用。按他的判断，就算模型暂时停在今天，企业把现有能力真正用起来，仍有很大的空间。
Anthropic联创兼CEO Dario Amodei呼吁放缓前沿AI发展步伐
PANews 9月13日消息，Anthropic联合创始人兼CEO Dario Amodei 发文提出“pacing the frontier”三步计划，呼吁放缓前沿大模型能力提升速度，以便安全对齐和监管跟上。他指出，递归自我改进已经在行业内出现，若不加控制，未来6–12个月内多智能体“蜂群”有能力通过大规模网络攻击和持久僵尸网络造成灾难性损失。方案包括：引入具有员工级持续访问权限的第三方嵌入式评估机构，推动民主国家内前沿AI公司在政府支持下协调设定能力和安全标准，并在维护美国及其盟友技术领先的前提下，与中国等国家尝试在生物武器、网络安全测试和递归自我改进速度等方面开展全球协调。
AI灭绝论刷屏后，Anthropic给外部审查员开到接近员工级权限
动察 Beating AI 快讯，Anthropic 前研究员 Jacob Coxon 的辞职帖三天多冲到 1.6 亿浏览，AI 灭绝风险这周迅速冲进美国主流舆论场。OpenAI 首席科学家 Jakub Pachocki 此前已经呼吁同行必要时协调减速；Coxon 爆火后，Sam Altman 又在内部表示愿意和其他实验室一起放慢研发，OpenAI 也开始推动强制性的全国 AI 安全监管。 现在 Anthropic 也拿出了具体动作。公司承诺让第三方安全团队长期驻场，给他们工位、门禁、公司电脑，以及接近内部风险评估团队的工具和权限。他们可以检查训练流程、安全措施和事故，还能独立对外发布结论。Anthropic 可以删掉涉及安全、法律和客户隐私的信息，但不能因为结论难看就删。Anthropic CEO Dario 称，这种做法比目前任何 AI 公司都走得更远。 Dario 对「减速」的态度也变了。他说，2023 年业界讨论暂停 AI 时，自己还觉得没什么意义。现在 AI 已经越来越多参与下一代 AI 的研发，能力进步开始加速，他认为光做安全研究已经不够，模型能力本身也该慢下来。 他还点名 OpenAI 的 Hugging Face 失控事件，警告照现在的速度再过 6 到 12 个月，类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络，造成数千亿美元损失。下一步，他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度，再尝试和中国协调全球 AI 发展速度。不过先进芯片和模型蒸馏仍要继续限制，让美国在减速时保持领先。
Zora联合创始人D. Goens接任CEO，Jacob卸任
PANews 9月10日消息，Zora联合创始人、新任CEO D. Goens在X平台发文称，联合创始人Jacob已卸任CEO，将开启职业生涯下一阶段，由D. Goens接任CEO一职。