OpenAI提出前沿AI训练「安全论证」框架,建议开跑前先过安全文档
相关推荐
OpenAI CEO将在联合国推动全球AI安全标准
动察 Beating AI 快讯,OpenAI CEO Sam Altman 将在联合国安理会发言,主张建立统一的全球 AI 安全标准,同时避免出台可能拖慢创新的限制措施。OpenAI 表示,它并不支持设立某个具体的国际监管机构,更倾向于基本安全标准加民主监督。Anthropic CEO Dario Amodei 预计也将通过视频参会。 此前据 FT 报道,OpenAI 周一呼吁美国政府牵头建立国际 AI 标准,并建议各国协调评估 AI 模型的能力与风险。OpenAI CEO Sam Altman 本周将向联合国安理会介绍相关方案。OpenAI 特别警告递归自我改进(RSI)可能带来新的风险,即越来越多 AI 模型训练工作由其他 AI 系统完成。如果缺乏适当的安全措施,AI 可能快速迭代到人类无法有效监督的程度,使人类逐渐失去对 AI 发展的实际控制。相关提议正值 AI 安全担忧升温之际。
Ziff Davis CEO质疑OpenAI:若能为数据中心投入7500亿美元,为何没钱给出版商?
BlockBeats 消息,9 月 14 日,数字媒体和互联网公司 Ziff Davis CEO Vivek Shah 表示,如果 OpenAI 到 2030 年能够为算力投入 7500 亿美元,就有能力向新闻出版商支付内容授权费用。 Shah 近日就美国司法部在纽约南区版权诉讼中的立场发表评论称,政府认为 AI 公司与出版商签订授权协议可能增加行业负担、限制 AI 发展,但事实上已有大量出版商与 OpenAI 等前沿 AI 公司达成授权合作,Cloudflare、Tollbit 等平台也在降低授权和版税支付的操作成本。 他指出,OpenAI 此前向投资者透露,到 2030 年预计将在算力方面投入约 7500 亿美元,而内容授权费用相较之下只是「小数目」。以美国音乐行业为例,其每年版税和授权支付规模不足 200 亿美元;如果新闻出版行业获得类似规模的费用,对 LLM 公司的整体支出影响有限,却能为各类内容生产者带来重要收入。 Shah 还警告,如果缺乏合理的授权机制,出版商可能通过付费墙和技术限制阻止 AI 抓取内容,最终导致消费者获取免费信息的成本上升,并压缩创作者的收入渠道。
FT:OpenAI呼吁美国牵头制定全球AI标准
动察 Beating AI 快讯,据 FT 报道,OpenAI 周一呼吁美国政府牵头建立国际 AI 标准,并建议各国协调评估 AI 模型的能力与风险。OpenAI CEO Sam Altman 本周将向联合国安理会介绍相关方案。 OpenAI 提议利用现有各国 AI 安全研究机构网络,建立国际统一的 AI 模型评估标准,并呼吁美国与海外国家建立安全沟通渠道,共享 AI 领域出现的新威胁。 OpenAI 特别警告递归自我改进(RSI)可能带来新的风险,即越来越多 AI 模型训练工作由其他 AI 系统完成。如果缺乏适当的安全措施,AI 可能快速迭代到人类无法有效监督的程度,使人类逐渐失去对 AI 发展的实际控制。 相关提议正值 AI 安全担忧升温之际。Anthropic 和 OpenAI 近期均披露过 AI 模型入侵外部系统的事件,OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei 和 SpaceX CEO 马斯克本月早些时候还曾呼吁放缓 AI 开发。美国总统特朗普则反对放缓 AI 发展,并称「谁赢得 AI,谁就赢得一切」。
Sam Altman确认OpenAI今年不上市:AI安全问题让现在IPO「时机不当」
动察 Beating AI 快讯,OpenAI CEO Sam Altman 在接受《财富》专访时确认,公司不会在 2026 年进行 IPO,并称考虑到当前 AI 安全形势,现在上市「时机不当」。 Altman 表示,OpenAI 并不急于上市,未来将在业务准备就绪、社会能够适应不同能力水平的 AI 模型后再考虑 IPO。他还称,公司需要优先解决 AI 安全与对齐问题,并可能在 AI 能力达到新的阶段时放缓前沿模型开发。此前有报道称,OpenAI 曾考虑将 IPO 推迟至 2027 年,潜在估值或达 1 万亿美元。 与此同时,Anthropic CEO Dario Amodei 近期也呼吁放缓前沿 AI 发展,并提出让独立评估机构获得公司内部员工级别的访问权限。随后 Sam Altman 表示,「我同意 Dario Amodei(Anthropic CEO)的看法,我们需要控制前沿模型的进展。这是我们最近在 OpenAI 讨论的主要话题。承诺让独立评估者拥有类似员工的访问权限是个好主意,我们也会这样做。我们很快会有更多消息分享。」
OpenAI CEO暗示将与其他AI公司合作以应对安全风险
PANews 9月12日消息,OpenAI首席执行官Sam Altman周五接受《财富》采访时暗示,OpenAI及其他领先AI公司可能即将宣布合作,以放缓AI开发并共同应对安全风险。当被问及是否会与Anthropic的Dario Amodei、SpaceX的Elon Musk及谷歌的Demis Hassabis共同制定安全计划时,Altman称“我认为那会发生”,但拒绝预先公布私下讨论。 此前,Anthropic研究员Jacob Coxon辞职并指责两家公司“正全速冲向能自我进化的超级智能”,Anthropic对齐主管回应称未来十年AI导致人类灭绝的风险超过10%。
OpenAI CEO 考虑放缓前沿 AI 开发
火星财经消息,OpenAI 首席执行官奥尔特曼表示,正在考虑放慢尖端人工智能的开发速度,并希望其他 AI 公司效仿。据知情人士透露,奥尔特曼在公司会议上提到可能调整 AI 开发节奏,与其他 AI 实验室协同进行。近期,AI 公司员工对先进 AI 系统风险的担忧加剧了内部焦虑。