返回 7*24 快讯
来源ODAILY

Sam Altman:控制AI发展节奏并不意味着停止,但能力提升速度不能超过安全对齐和监控

Odaily星球日报讯 OpenAI CEO Sam Altman 在 X 平台发文表示,欢迎美国建立联邦层面的前沿 AI 安全监管框架,为行业制定一致的安全要求,但 AI 公司无需等待反垄断豁免或相关立法出台,就可以主动采取安全措施。 Altman 表示,OpenAI 目前会在预计将显著提升模型能力的前沿强化学习训练开始前,提前制定明确的安全论证,并希望行业在模型失控风险、监控和安全方面形成共同标准。他强调,所谓控制 AI 发展的“节奏(pacing)”并不意味着停止进步,而是应接受安全措施带来的速度和成本代价,“无论美国面临多大的竞争压力,都不应让 AI 能力的发展速度超过对齐和监控能力。” 此前消息,Anthropic、OpenAI 与 Google 自 7 月起已就筹建各自的 AI 安全标准机构展开工作组磋商。此外,美国民主党议员将于周二上午召开党团会议,专门讨论人工智能相关立法行动,并称应对 AI 带来的挑战是“高优先级”,需要尽快采取措施。
免责声明:以上内容仅为作者观点,不代表 711BTC 的任何立场,不构成与 711BTC 相关的任何投资建议。

相关推荐

09-12 18:25

Sam Altman确认OpenAI今年不上市:AI安全问题让现在IPO「时机不当」

动察 Beating AI 快讯,OpenAI CEO Sam Altman 在接受《财富》专访时确认,公司不会在 2026 年进行 IPO,并称考虑到当前 AI 安全形势,现在上市「时机不当」。 Altman 表示,OpenAI 并不急于上市,未来将在业务准备就绪、社会能够适应不同能力水平的 AI 模型后再考虑 IPO。他还称,公司需要优先解决 AI 安全与对齐问题,并可能在 AI 能力达到新的阶段时放缓前沿模型开发。此前有报道称,OpenAI 曾考虑将 IPO 推迟至 2027 年,潜在估值或达 1 万亿美元。 与此同时,Anthropic CEO Dario Amodei 近期也呼吁放缓前沿 AI 发展,并提出让独立评估机构获得公司内部员工级别的访问权限。随后 Sam Altman 表示,「我同意 Dario Amodei(Anthropic CEO)的看法,我们需要控制前沿模型的进展。这是我们最近在 OpenAI 讨论的主要话题。承诺让独立评估者拥有类似员工的访问权限是个好主意,我们也会这样做。我们很快会有更多消息分享。」

09-12 15:09

OpenAI CEO暗示将与其他AI公司合作以应对安全风险

PANews 9月12日消息,OpenAI首席执行官Sam Altman周五接受《财富》采访时暗示,OpenAI及其他领先AI公司可能即将宣布合作,以放缓AI开发并共同应对安全风险。当被问及是否会与Anthropic的Dario Amodei、SpaceX的Elon Musk及谷歌的Demis Hassabis共同制定安全计划时,Altman称“我认为那会发生”,但拒绝预先公布私下讨论。 此前,Anthropic研究员Jacob Coxon辞职并指责两家公司“正全速冲向能自我进化的超级智能”,Anthropic对齐主管回应称未来十年AI导致人类灭绝的风险超过10%。

09-13 09:27重要

Anthropic联创兼CEO Dario Amodei呼吁放缓前沿AI发展步伐

PANews 9月13日消息,Anthropic联合创始人兼CEO Dario Amodei 发文提出“pacing the frontier”三步计划,呼吁放缓前沿大模型能力提升速度,以便安全对齐和监管跟上。他指出,递归自我改进已经在行业内出现,若不加控制,未来6–12个月内多智能体“蜂群”有能力通过大规模网络攻击和持久僵尸网络造成灾难性损失。方案包括:引入具有员工级持续访问权限的第三方嵌入式评估机构,推动民主国家内前沿AI公司在政府支持下协调设定能力和安全标准,并在维护美国及其盟友技术领先的前提下,与中国等国家尝试在生物武器、网络安全测试和递归自我改进速度等方面开展全球协调。

09-13 04:12

Altman、Dario都喊AI减速,特朗普科技顾问Sacks:真怕就自己停,别拉上全行业

动察 Beating AI 快讯,Anthropic CEO Dario Amodei 发长文呼吁放慢前沿 AI 的能力提升。他认为,AI 已越来越多参与下一代 AI 研发,加上近期多起 Agent 失控事件,安全研究正在追不上能力增长。 Dario 提出三步方案:先让第三方评测员长期进入 AI 公司,获得接近员工的权限;再让民主国家的前沿实验室协调安全标准,必要时一起放慢能力增长;最后推动国际协调。Anthropic 已承诺先执行第一步。 Sam Altman 随后公开支持,称 OpenAI 最近几周也一直在讨论「pace the frontier」,并宣布 OpenAI 也会引入类似的长期独立评测员。 前白宫 AI 与加密货币主管、现任总统科技顾问委员会联席主席 David Sacks 随后回击:「真觉得内部模型危险,就自己停。」他说 OpenAI 和 Anthropic 已经主导前沿 AI,完全可以自己放慢,不需要拉上其他公司。 Sacks 最反感的是几家竞争对手一起商量「大家都慢一点」。Dario 自己也承认,这类协调可能需要反垄断豁免。Sacks 认为,如果还得政府开绿灯,让几家最大的 AI 公司坐下来一起限速,就很像一个垄断联盟。 他还点名 METR,质疑它是否适合充当全行业的独立裁判。METR 长期给 Anthropic、OpenAI 等公司做外部评测,最近又有 Anthropic 安全研究员 Joe Benton 离职加入。不过 METR 明确表示,自己不接受这些前沿 AI 公司的资金,只接受模型访问和免费 token。 Sacks 还认为,减速本身也符合 OpenAI 和 Anthropic 的商业利益。模型越容易失控,法律责任越大;客户也更愿意买稳定、可控的 AI。至于全球统一减速,他判断不可能所有国家都愿意加入。

09-12 15:37

AI灭绝论刷屏后,Anthropic给外部审查员开到接近员工级权限

动察 Beating AI 快讯,Anthropic 前研究员 Jacob Coxon 的辞职帖三天多冲到 1.6 亿浏览,AI 灭绝风险这周迅速冲进美国主流舆论场。OpenAI 首席科学家 Jakub Pachocki 此前已经呼吁同行必要时协调减速;Coxon 爆火后,Sam Altman 又在内部表示愿意和其他实验室一起放慢研发,OpenAI 也开始推动强制性的全国 AI 安全监管。 现在 Anthropic 也拿出了具体动作。公司承诺让第三方安全团队长期驻场,给他们工位、门禁、公司电脑,以及接近内部风险评估团队的工具和权限。他们可以检查训练流程、安全措施和事故,还能独立对外发布结论。Anthropic 可以删掉涉及安全、法律和客户隐私的信息,但不能因为结论难看就删。Anthropic CEO Dario 称,这种做法比目前任何 AI 公司都走得更远。 Dario 对「减速」的态度也变了。他说,2023 年业界讨论暂停 AI 时,自己还觉得没什么意义。现在 AI 已经越来越多参与下一代 AI 的研发,能力进步开始加速,他认为光做安全研究已经不够,模型能力本身也该慢下来。 他还点名 OpenAI 的 Hugging Face 失控事件,警告照现在的速度再过 6 到 12 个月,类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络,造成数千亿美元损失。下一步,他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度,再尝试和中国协调全球 AI 发展速度。不过先进芯片和模型蒸馏仍要继续限制,让美国在减速时保持领先。

09-10 17:13重要

OKX 在欧洲上线 OpenAI 与 Anthropic 的 Pre-IPO 永续合约

ChainCatcher 消息,加密货币交易所 OKX 宣布在欧洲推出与 OpenAI 和 Anthropic 相关的 Pre-IPO 永续合约,符合条件的交易者可做多或做空两家 AI 公司的估值,最高可使用 10 倍杠杆,但不会获得两家公司的实际股份。该产品押注的是两家公司上市前的估值变动,为难以直接买入私有公司股票的散户投资者提供了新的投机途径。OKX 并非首家推出此类产品的平台。Hyperliquid 已通过 HIP-3 提供与 OpenAI 和 Anthropic 相关的市场,Binance 也为两家公司提供 Pre-IPO 永续合约。OKX 表示,此类产品并非股份本身的替代品,但能满足市场对长期未上市大型科技公司敞口的持续需求。与此同时,OKX 还上线了 100 只代币化股票和 ETF,包括 Nvidia、Alphabet、Palantir 以及 SPY 和 QQQ,支持欧洲交易者全天候交易传统市场。这些代币追踪标的证券价格,但不赋予持有者实际股份或投票权,部分代币可提取至自托管钱包。OKX 欧洲 CEO Erald Ghoos 表示,其衍生品业务需求持续增长,自 MiCA 过渡期于 7 月结束后,欧洲市场 X-Perps 交易量已增长四倍。