返回 7*24 快讯
来源MarsBit

字节10万亿参数模型已开训,规模逼近Anthropic Mythos5

据动察 Beating 监测,英国《金融时报》援引三名知情人士称,字节跳动已经开始预训练一款最高 10 万亿参数的大模型。项目仍处于早期阶段,最终规模尚未确定。如果按上限训练,它将达到 Kimi K3 的三倍以上,成为目前已知中国团队中参数规模最大的模型。 字节这次直接把模型尺寸推到了 Anthropic 旗舰附近。Anthropic 从未公布 Mythos 5 的参数量,但《金融时报》援引行业估算称,Mythos 5 约为 8 万亿参数,Fable 5 约为 5 万亿。字节新模型若做到 10 万亿,至少在参数规模上已经进入美国最前沿闭源模型的同一量级。 这款模型目前还在预训练(用海量数据训练模型的基础能力)。《金融时报》称,这一阶段通常需要 3 至 6 个月,之后还要继续后训练,顺利才会发布。参数更多也不等于能力一定更强,最终表现还取决于架构、训练数据和训练方法。 张一鸣近期在 Seed 内部明确反对蒸馏竞争对手模型,要求团队接受短期落后,靠自研冲击世界第一梯队。这款最高 10 万亿参数的新模型,是字节目前最激进的一次规模下注。
免责声明:以上内容仅为作者观点,不代表 711BTC 的任何立场,不构成与 711BTC 相关的任何投资建议。

相关推荐

07-24 16:14

接连指控中国模型蒸馏后,Anthropic藏起Fable 5思考摘要

据动察 Beating 监测,Fable 5 已不再在网页端、桌面端和移动端展示思考摘要。模型仍在后台推理,用户只能看到最终答案。Anthropic 尚未解释原因,但这很可能是反蒸馏的最新措施。 今年 2 月,Anthropic 指控 DeepSeek、月之暗面和 MiniMax 使用约 2.4 万个虚假账号,与 Claude 交互超过 1600 万次。月之暗面被指专门提取并重建 Claude 的推理轨迹。 6 月,Anthropic 又指控阿里及千问关联操作者通过近 2.5 万个虚假账号,与 Claude 交互超过 2880 万次。7 月,Anthropic 国家安全负责人 Tarun Chhabra 首次点名智谱,称 GLM-5.2 蒸馏了 Claude 和 OpenAI 模型。Kimi K3 发布后,白宫科技政策办公室主任 Michael Kratsios 又指控月之暗面用 Fable 开发 K3。 Fable 5 已内置「推理提取」分类器,专门拦截套取思考摘要的请求。现在 Anthropic 又把聊天界面的思考摘要直接隐藏,外界只能拿到最终答案,更难批量收集模型的解题过程用于蒸馏。代价是普通用户也看不到模型正在做什么,长任务走偏时更难发现,也更难及时纠正或叫停。

08-07 12:31

Anthropic放宽Fable5生物限制,日常健康问题终于能正常答

据动察 Beating 监测,Anthropic 调整了 Claude Fable 5 的生物安全限制。此前生物问题一旦触发安全分类器,就会自动切到能力较弱的 Opus 5。新版分类器上线后,测试中的生物相关回退减少约 85%。化验结果解读、症状理解、生物学学习等普通问题,现在更容易直接用上 Fable 5。

07-29 18:56

Kimi K3发布后,Anthropic预期估值蒸发1264亿美元

据动察 Beating 监测,Kimi K3 发布后,市场开始下调 Anthropic 的上市估值预期。 Stock Analysis 基于未上市股权交易平台 Hiive 的数据估算,Anthropic 当前隐含估值约为 8386 亿美元。这比公司 5 月融资时的 9650 亿美元低 13.1%,相差约 1264 亿美元。 其他交易平台也出现了类似变化。《卫报》称,Kimi K3 发布后的几个交易日内,IG 平台对 Anthropic 上市估值的押注减少 2320 亿美元。

07-23 11:56

YC等美国AI初创联名反对封杀Kimi、Qwen:封禁只会养肥Anthropic

据动察 Beating 监测,美国创业组织 Little Tech Association 联合 Y Combinator 等 179 个签署方致信特朗普政府,反对全面禁止中国开放权重模型。 信中点名 Kimi K3 和 Qwen3.8 Max。开放权重模型可以下载到本地部署和修改,不必把数据交给模型厂商。 联署方称,不少美国初创已经把中国开放模型用于正式业务。全面封禁不会阻止这些模型在海外传播,只会抬高美国企业的成本。 Particle 创始人 Suhail Doshi 警告,禁令可能让数百家依赖开放模型的公司陷入危机,Anthropic 等闭源模型厂商反而会受益。 目前,特朗普政府尚未提出正式禁令。白宫正在调查中国模型是否通过蒸馏复制美国模型,但内部并未认真讨论全面封杀,商务部也没有起草实体清单方案。

07-22 16:17

Kimi K3白领任务逼近Fable5,成本升至上代10倍

据动察 Beating 监测,Artificial Analysis 更新 AA-Briefcase 榜单。这个评测让模型从近 2000 份邮件、Slack 记录和公司文件中找信息,再交付表格、演示文稿和界面原型。它共设 4 个长期项目和 91 项保密任务。 Kimi K3 得分 1543 Elo,仅次于 Claude Fable 5 的 1574。它超过 GPT-5.6 Sol 的 1501,也领先 Claude Sonnet 5 和 Claude Opus 4.8。 K3 的客观要求通过率为 51%,Fable 5 为 56%。但 K3 的分析质量得分略高,1754 对 1744。它主要输在成品展示,低于 GPT-5.6 Sol 和 Opus 4.8。 性能提升也伴随着更高的 Token 消耗。K3 平均每项任务花费 10.57 美元,约为 Kimi K2.6 的 10 倍。它平均执行 83 轮,输出 12 万 Token,耗时 56.4 分钟。完成同类任务所需时间约为 Fable 5 的 2.5 倍。

07-20 19:35重要

SemiAnalysis:Kimi K3跻身全球第三,或揭示OpenAI与Anthropic隐藏利润空间

火星财经消息,7 月 20 日,SemiAnalysis 分析师 Jordan Nanos 和 Max Kan 近日围绕月之暗面旗下模型 Kimi K3 展开分析,认为该模型在综合基准测试中超越 Google Gemini,不仅反映中美 AI 模型差距缩小,也为推测 Anthropic 和 OpenAI 等闭源 AI 公司的商业模式提供了新视角。 根据 SemiAnalysis 综合评价,Kimi K3 目前排名全球第三,仅次于 Fable 5 和 GPT-5.6,并超过 Google Gemini。分析师表示,虽然这一结果并不意味着 Google AI 业务出现重大问题,但 Kimi K3 公开披露的参数规模、性能和定价,为外界估算闭源模型经济价值提供了参考。 Kimi K3 拥有 2.8 万亿参数,远超多数公开模型。Jordan Nanos 表示,如此规模的模型无法部署在单个英伟达 B200 GPU 上,需要 GB300、B300 级别系统或 AMD MI355X 等更高规格硬件支持。他据此推测,Anthropic 和 OpenAI 的旗舰闭源模型可能也处于类似参数规模,而非拥有数量级领先优势。 在商业模式方面,Kimi K3 上线价格接近 Anthropic Sonnet 系列模型,输入价格约为每百万 token 3 美元,输出价格约为每百万 token 15 美元,较上一代 Kimi 模型价格上涨约 3 倍。 Max Kan 认为,如果月之暗面并非长期亏损运营,那么 Anthropic 和 OpenAI 针对类似规模模型收取更高价格,意味着其 API 业务可能具备较高利润率。「出售 API token 可能比 SaaS 更赚钱。」他说。 不过,两位分析师强调,上述判断并非基于 AI 公司的公开财务数据,而是通过 Kimi K3 的参数、价格和性能表现进行反向推演。