SemiAnalysis拆解AI推理：内存带宽比容量更重要，调度层成关键
相关推荐
SemiAnalysis：字节占中国近1/5数据中心容量，几乎全靠租
动察 Beating AI 快讯，半导体研究机构 SemiAnalysis 发布中国数据中心调查，逐一追踪了 60 多家运营商的 1000 多座设施。报告估算，到 2026 年底，中国数据中心容量将超过 24GW，全球仅次于美国的 56GW。字节跳动一家就占约五分之一，是国内最大的数据中心租户。 字节跳动已租用超过 4GW 的数据中心容量，供应商包括秦淮数据、中联数据和世纪互联等。报告称，截至 2026 年初，字节跳动仍贡献秦淮数据约 90% 的营收。字节也开始加快自建，在山西、安徽和内蒙古建设大型数据中心，减少对外部供应商的依赖。 中国数据中心虽然长期被认为空置率偏高，但 AI 机房仍然供不应求。原因是大量旧机房的供电和散热能力不足，难以直接部署高功耗 AI 服务器。新建的大型 AI 数据中心则在快速被租满。 以 100MW 数据中心为例，不含服务器等 IT 设备，中国的建设成本约 3 亿美元，美国约 15 亿美元。中国同规模设施通常约 12 个月就能交付。相比美国面临的供电和审批难题，中国扩建 AI 数据中心更突出的瓶颈是先进芯片供应。
Jev开始管Attention，MiniMax H3生成时间砍掉41.7%
动察 Beating AI 快讯，日本开发者 Kamimoto 把 Jev 接进 MiniMax H3 的视频生成流程。它会根据每一层的运行状态，从 1%、3%、5%、10% 四档里选择 Attention 保留多少，再由 Sparse Attention 决定具体哪些计算可以省掉。 在 RTX 4070 12GB 上，同样生成一段约 5 秒的视频，原版 4-step 方案需要 6 分 07 秒，加入 Sparse Attention + Jev 动态控制后降到 3 分 34 秒，总耗时缩短 41.7%。 不过，这 41.7% 不能全算在 Jev 头上。Sparse Attention 本身就能通过少算一部分 Attention 来提速，固定保留 5% 或 10% 也会变快。Jev 做的是动态调节：重要的层多算一点，不重要的层少算一点。 目前还不能证明这种动态调节一定比固定比例画质更好，作者也明确表示质量还没有充分验证。实验代码已经开源。
Citrini Research被SemiAnalysis收购，创始人拟成立新基金
动察 Beating AI 快讯，「AI 末日报告」发布机构 Citrini Research 创始人 James van Geelen 已将公司出售给芯片及 AI 研究机构 SemiAnalysis，交易金额尚未披露。Van Geelen 暂时将继续担任 Citrini CEO，并计划筹建一只新基金。 Citrini 目前在 Substack 拥有约 26 万名订阅者，今年 2 月因发布《2028 全球智能危机》报告走红。该报告设想 AI 快速取代白领岗位，引发市场对 AI 冲击就业和经济的讨论，并一度对软件股造成明显影响。 SemiAnalysis 由 Dylan Patel 于 2020 年创立，长期专注半导体和 AI 基础设施研究。Patel 表示，此次收购旨在扩大研究规模，并探索投资研究在 AI 时代的新形态。 Van Geelen 本人未透露新基金具体信息。此次交易也意味着 Citrini 在快速扩大影响力后，将与 SemiAnalysis 的半导体、AI 研究能力进一步结合。
Meta首席AI官Alexandr Wang驳斥SemiAnalysis「刷榜论」：老测试早已饱和
动察 Beating AI 快讯，AI 研究机构 SemiAnalysis 点名 Gemini 3.8 Flash 和 Muse Spark 1.3，称它们是目前最明显的「benchmaxxed」模型之一，也就是针对公开评测优化得太狠。两款模型在 Terminal-Bench 2.1 分别拿到 89.4% 和 88.8%，已经接近 GPT-6 Astra 和 Claude Fable 5.1；换到刚发布不久的 Terminal-Bench 4.0，却只剩 19.1% 和 33.3%。Astra 和 Fable 5.1 分别还有 57.7% 和 55.8%。 SemiAnalysis 怀疑，问题出在公开测试越来越容易被针对性优化。Terminal-Bench 2.1 的任务全部公开，即使模型厂商不直接拿测试题训练，也可以购买与这些任务高度相似的强化学习环境数据。模型于是越来越擅长这套考试，却未必能泛化到新任务。不过 SemiAnalysis 没有拿出 Google 或 Meta 购买这类数据的直接证据。 Meta 首席 AI 官 Alexandr Wang 随后反驳，称这个论点「很蠢」。他举例，GPT-5.6 Sol 同样从 Terminal-Bench 2.1 的 88.8% 掉到 4.0 的 37.3%。他的解释是 2.1 已经饱和，无法再有效区分顶尖模型，而 4.0 远未饱和。Terminal-Bench 4.0 的确删除了 8 道饱和、已有公开解法或存在其他问题的任务，同时修改了 19 道题，并重新调整时间、CPU 和内存等资源限制。
SemiAnalysis：HBF 非 HBM 替代，成本与散热仍存不确定性
火星财经消息，P Equity Research 与 SemiAnalysis 研究员 Nick Doyle 等在 X Space 讨论高带宽闪存 HBF。Nick 表示，目前判断 HBF 相对 HBM 的成本溢价能缩小多少仍为时过早，现有数据多为厂商说法，如 Sandisk 称每比特成本约为 HBM 的八分之一。良率、测试等会随规模改善，但 TSV、堆叠及 pSLC 模式等结构性成本永久存在，耐久性是关键未知数，若磨损超预期将推高成本。HBF 应用场景狭窄，仅面向 AI 推理，尤其是低 batch、长上下文的 MoE 模型，并非 HBM 替代品。实际带宽目标约 1.6 TB/s，属 HBM3E 级别，适合顺序读取以加载模型权重，更匹配本地或私有企业少量 GPU 的容量需求，而非超大规模带宽场景。散热可靠性尚未解决，闪存在 GPU 旁高温下会加速劣化，UCIe 分离与每日刷新等缓解措施仍未获验证。制造方面，Sandisk/Kioxia 具备 3D NAND 经验，SK Hynix 补充 HBM 式堆叠能力，但量产仍待证实。整体来看，存储正转向分层专业化市场，NAND 短缺预计持续至 2028 年，HBF 可能进一步影响供需。
SemiAnalysis创始人：2028年AI大部分算力只属于两家公司
动察 Beating AI 快讯，SemiAnalysis 创始人 Dylan Patel 在最新播客中预测，到 2028 年，OpenAI 与 Anthropic 或将占据全球 70% 至 80% 的新增 AI 算力，合计算力规模可能超过 100GW。Patel 称，两家公司目前已占全球年度新增算力约 30%，且这一比例仍在快速上升。 Patel 指出，前沿 AI 实验室的商业模式正在发生变化，AI 算力产出效率大幅提升，Anthropic 当前每兆瓦算力对应的收入已达约 5000 万美元，并可能进一步升至 1 亿美元。这使 OpenAI、Anthropic 能够以每兆瓦 2500 万至 5000 万美元的高价采购或租赁算力。 更值得关注的是，Patel 预计 2024 年至 2029 年全球 AI 相关资本开支将达到约 11 万亿美元，其中超过 5 万亿美元需要通过债务融资完成。由于 AI 基础设施的潜在回报率远高于传统行业，科技巨头可能接受更高融资成本，从而推升整体信贷利率，并对传统资产估值及高负债经济体形成挤压。 此外，Patel 认为，未来新增算力未必主要用于对外提供模型推理服务，而可能更多流向 AI 实验室内部研发和模型自我改进。