一条辞职帖破1.4亿浏览,竟然是替美国民主党炒作AI恐慌?
相关推荐
Anthropic研究员Jacob Coxon决定退出人工智能行业,因担忧无法控制且能自我改进的系统
PANews 9月9日消息,据华尔街日报:Anthropic研究员Jacob Coxon决定退出人工智能行业,原因是他担心各公司正竞相开发无法控制且能自我改进的系统。
Anthropic钦点的「独立第三方」遭质疑:创始圈与公司关系盘根错节
动察 Beating AI 快讯,Anthropic CEO Dario Amodei 最近主张,让 METR 这类第三方评估机构长期进驻前沿 AI 公司,获得接近员工级别的权限,检查安全措施、事故和模型训练过程。但《纽约邮报》调查发现,METR 和 Anthropic 所在的 AI 安全圈关系远比普通「外部审计」更近。 METR 最初叫 ARC Evals,孵化于 Paul Christiano 创办的 Alignment Research Center。Christiano 不仅曾和 Amodei 在 OpenAI 共事,《纽约邮报》称两人还做过室友;他后来又成为 Anthropic Long-Term Benefit Trust 最初五名受托人之一。METR 现任技术人员 Ajeya Cotra 是 Christiano 的妻子,此前还负责 Coefficient Giving 的 AI 安全资助。 更直接的问题来自 METR 自己。今年它评估 Anthropic、OpenAI、Google 和 Meta 时,当时还没有适用的人员利益冲突政策,也没有进行正式的回避流程。METR 披露,直接参与项目的员工和合作者中,至少 6 人与 AI 公司员工存在密切私人关系。 当然这并不能证明 METR 被 Anthropic 控制。METR 明确表示不接受前沿 AI 公司及其员工的资金,做风险评估也不收费,不过这些公司会免费提供大量模型 Token。
AI灭绝论刷屏后,Anthropic给外部审查员开到接近员工级权限
动察 Beating AI 快讯,Anthropic 前研究员 Jacob Coxon 的辞职帖三天多冲到 1.6 亿浏览,AI 灭绝风险这周迅速冲进美国主流舆论场。OpenAI 首席科学家 Jakub Pachocki 此前已经呼吁同行必要时协调减速;Coxon 爆火后,Sam Altman 又在内部表示愿意和其他实验室一起放慢研发,OpenAI 也开始推动强制性的全国 AI 安全监管。 现在 Anthropic 也拿出了具体动作。公司承诺让第三方安全团队长期驻场,给他们工位、门禁、公司电脑,以及接近内部风险评估团队的工具和权限。他们可以检查训练流程、安全措施和事故,还能独立对外发布结论。Anthropic 可以删掉涉及安全、法律和客户隐私的信息,但不能因为结论难看就删。Anthropic CEO Dario 称,这种做法比目前任何 AI 公司都走得更远。 Dario 对「减速」的态度也变了。他说,2023 年业界讨论暂停 AI 时,自己还觉得没什么意义。现在 AI 已经越来越多参与下一代 AI 的研发,能力进步开始加速,他认为光做安全研究已经不够,模型能力本身也该慢下来。 他还点名 OpenAI 的 Hugging Face 失控事件,警告照现在的速度再过 6 到 12 个月,类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络,造成数千亿美元损失。下一步,他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度,再尝试和中国协调全球 AI 发展速度。不过先进芯片和模型蒸馏仍要继续限制,让美国在减速时保持领先。
Polymarket上Anthropic将在26年10月15日前IPO概率跌至6%,单周下跌51%
PPP 预测市场工具监测显示,Polymarket 上 Anthropic 将在 26 年 10 月 15 日前 IPO 概率跌至 6%,单周下跌 51%;将在 26 年 10 月 31 日前 IPO 概率跌至 60%,单周下跌 29%。 根据结算规则,若 Anthropic 在指定日期美东时间 23:59 前正式登陆公开证券交易所并开放股票交易,则结算为 Yes,否则为 No。此外,如果 Anthropic 被一家已上市公司收购,则立即结算为 No。该市场的主要结算依据为 Anthropic 官方以及其股票上市交易所发布的文件和公告。 此前据路透援引消息人士报道,Anthropic 计划最早于 10 月中旬启动 IPO 推介,并争取在 11 月美国中期选举前上市。而美国总统科学技术顾问委员会主席 David Sacks 今日则呼吁,在相关“举报人”说法完成调查前暂停 Anthropic IPO。 “举报人”指 Anthropic 前研究员 Jacob Coxon,其此前因担忧 AI 安全风险辞职,并公开指责 Anthropic 与 OpenAI 在安全保障不足的情况下竞相开发可自我改进的超级智能。 加入 PPP 信号推送社群,快人一步,掌握先机。
David Sacks:在完成举报调查之前,Anthropic的IPO应该暂停
Odaily星球日报讯 美国总统科学技术顾问委员会主席 David Sacks 于 X 发文表示:“在对举报人的说法进行调查之前,Anthropic 的 IPO 肯定应该暂停。” Odaily 注:David Sacks 所提到的举报人为 Anthropic 研究员 Jacob Coxon,其因担忧 AI 的失控风险,在股权归属前两个月选择了离职。
Anthropic给第三方员工级权限,老伙伴埃森哲先进场
动察 Beating AI 快讯,Anthropic 正式开始落地「嵌入式评估」。埃森哲旗下 AI 公司 Faculty 将派人进入 Anthropic 内部,评测和红队测试模型、做对齐评估,并检查安全措施。 这和普通的外部评测差别很大。评估员会拿到接近员工的权限,可以查看模型训练过程,了解开发和部署决策,还能直接和内部员工沟通。 双方未来五年各投入至少 10 亿美元建设这套评估能力。Anthropic 也承认,目前行业连统一规则都没有,评估员具体能看什么、结果怎么公开、钱由谁出都还在定。眼下埃森哲的评估工作由 Anthropic 直接付钱。 但埃森哲本身就是 Anthropic 的长期战略合作伙伴,还专门成立了 Anthropic Business Group,培训约 3 万人使用 Claude。AI Evaluator Forum 同日提出的最低条件之一,恰恰是评估机构不应与被评公司存在重大商业往来。 Anthropic 之后还会引入其他评估机构,也在和 METR(也是 Anthropic 的老伙伴)等非营利组织谈试点。