711BTC加密货币世界的 7*24 便利店
返回 7*24 快讯
来源Blockbeats

OpenAI最新模型Astra用上字节架构：Transformer同一层反复算

动察 Beating AI 快讯，OpenAI 即将发布的 Astra 用上了一种循环推理架构 recurrent depth，也叫 looped transformer。普通 Transformer 每生成一个 Token，会固定穿过一层层网络；Astra 可以让同一段信息反复经过同一组层，多算几轮再输出。 这条路线字节去年已经公开做过。Seed 团队发布的 Ouro 就是一种 Looped Language Model，同样让一组 Transformer 层循环运行，把更多计算放进模型内部。模型不用一直生成更长的思维链，也能增加推理计算量。较小模型因此能用更多计算，做到接近更大模型的效果。 这种架构也带来一个安全问题。部分推理发生在内部隐藏状态里，人类看不到完整文字记录，更难通过思维链检查模型有没有违规。OpenAI 因此限制了 Astra 使用 recurrent depth 的程度，让它仍保留可读的思维链，并准备加入额外的 CoT 监控。
免责声明：以上内容仅为作者观点，不代表 711BTC 的任何立场，不构成与 711BTC 相关的任何投资建议。

相关行情

加密货币行情 ›

相关推荐

09-02 06:39

OpenAI 首席科学家回应 Astra 争议，链式思维监控仍是研究重点

ChainCatcher 消息，OpenAI 首席科学家 Jakub Pachocki 表示，希望避免因误导性报道引发模型“不可监控化”的竞赛。其称，包括 Astra 在内的当前前沿模型，其计算图深度与 GPT-4 相差不超过两倍。OpenAI 自首批推理模型以来一直致力于保留并利用链式思维监控，认为该技术有助于观察模型对齐能力如何从训练分布泛化。Pachocki 同时指出，链式思维监控较为脆弱，且趋势并不乐观，但仍可通过研究加以强化，并已成为 OpenAI 当前研究计划的核心目标。此前，The Information 报道称，Astra 使用 recurrent depth，让同一组 Transformer 层反复计算。部分推理因此可以发生在模型内部，不必全部写成思维链，也引发了模型会不会越来越难监控的担忧。

08-27 07:24重要

比黑进Hugging Face更狠：Astra同家族模型曾突破OpenAI内网，最后拿到最高权限

动察 Beating AI 快讯，OpenAI 最新技术报告还披露了一场此前几乎没人注意到的内部事故：一款与下一代模型 Astra 同家族的内部模型，曾在评测中一路攻进 OpenAI 自己的云端基础设施。 它先利用此前攻击遗留下来的签名密钥材料，伪造出新的管理员凭证，重新拿下 OpenAI 内部软件仓库 Artifactory。随后继续横向突破，进入 OpenAI 的云端 Kubernetes 集群，并获得 `cluster-admin`，也就是整套集群的最高管理员权限。 权限拿到后，Agent 创建了特权容器，还接触到 OpenAI 云端密钥管理、身份权限和 CI 平台的认证 Token，甚至创建了公网负载均衡器，可能让部分内部基础设施直接暴露给互联网。 需要强调的是，这不是 Astra 本身，也不是此前主导 Hugging Face 攻击的模型。OpenAI 明确称，它只是和 Astra 属于同一家族，但采用了不同的后训练。

09-12 05:18

Astra翻车原因找到了：旧Skill拖后腿，OpenAI修完再送一次重置

动察 Beating AI 快讯，OpenAI 修复了 Astra 上线后的一批质量问题。最离谱的一项来自旧 Skill：一些为此前模型写的 Skill 在 Astra 上频繁误触发，甚至会阻止模型检查自己的工作。 另一个问题来自上下文管理实验，会让 Astra 提前停下，甚至回复更早的消息。OpenAI 已关闭实验，估计有 4000 至 5000 名用户受到影响。 团队还下线了一批配置错误、会拉低模型质量的推理引擎。修复后，Astra 应该能更稳定地跟住最新指令并检查自己的工作。OpenAI 还宣布再给用户一次 reset。

09-09 05:47

Astra太抢手，OpenAI考虑暂停新Pro订阅

动察 Beating AI 快讯，OpenAI 核心产品负责人 Thibault Sottiaux 称，GPT-6 Astra 的需求「前所未见」。如果需求继续增长，OpenAI 可能暂停新的 ChatGPT Pro 订阅，优先保证现有用户的服务质量。

09-07 11:04

OpenAI CEO：GPT-6 Astra让每个人拥有天才级员工，AI时代迎来「创意人士的复仇」

动察 Beating AI 快讯，据 AXIOS 报道，OpenAI 首席执行官 Sam Altman 表示，当前时代正迎来「创意人士」的复仇——那些曾经令人厌烦、空有创业想法却缺乏技术能力去实现的有志创业者。 这就像说「我有一个很好的歌曲创意，只需要那个拿吉他的人帮我做出来」一样。「我以前确实觉得这很可笑，」Altman 在北卡罗来纳州教堂山表示，「但现在我们看到整整一代人以前所未有的速度迭代创意。创办小型或大型企业的经济逻辑已经被重新定义。」 民调显示多数美国人认为 AI 风险大于收益，数据中心问题已成为中期选举中两党共同的争议焦点。正试图在强烈反对声中推广 AI 的 Altman 希望提醒美国人，在诸多现实风险之中，AI 也意味着机会。「这将是世界上创办初创公司最好的时代，」Altman 近期表示。 Altman 表示，借助 OpenAI 强大的新模型 GPT-6 Astra，你可以有效地创办和运营一家小企业……任何想拥有公司的人，现在在每个专业领域都拥有天才级的员工。

09-05 02:34

GPT-6 Astra全量上线：OpenAI连送两次额度重置

动察 Beating AI 快讯，OpenAI 已将 GPT-6 Astra 向 Plus、Pro 和 Business 用户全量开放。昨天 Astra 还处在分批推送阶段，很多 Pro 用户也用不了；今天 Plus 和 Pro 用户都已经可以在 ChatGPT Work 和 Codex 中使用。核心产品负责人 Thibault Sottiaux 称，团队的系统扩展能力比预想更强，因此很快完成了这轮全量上线。 Astra 首发时只给少量企业客户。OpenAI 原本预计要用几天逐步开放。大量付费用户迟迟拿不到后，Sam Altman 还为这次「混乱的发布」道歉。现在团队称系统扩展能力比预想更好，因此提前把 Plus 也发完了。 原本承诺的补偿也照发。符合条件的现有 Plus、Pro 和 Business 用户，9 月 3 日和 4 日各能拿一次 banked reset。它相当于一张可以以后手动使用的 Codex 满额重置券，会刷新 5 小时和周额度。北京时间 9 月 5 日 11:00 前新开账号或升级套餐，也能拿到这次重置。 Plus 虽然能用 Astra，但额度不算宽裕。OpenAI 当前估算，Plus 每 5 小时大约可跑 5–45 条 Astra 本地消息，GPT-5.6 Sol 则是 10–100 条。实际消耗取决于任务长度、推理强度和工具调用。