SemiAnalysis大幅下修AI算力预测:2028年资本开支预测下调近三成 五年硅片出货面积下调17%
相关推荐
SemiAnalysis:三星目前拥有最好的HBM4技术,海力士和美光面临挑战
火星财经消息,8 月 31 日,SemiAnalysis 发布最新一期播客节目,其中指出,SK 海力士和美光在实现最高的 HBM4 速度方面一直面临挑战。特别是 SK 海力士不得不重新设计其基础芯片,导致 HBM4 供应给 NVIDIA Rubin 平台的交付延后。 三星目前拥有最好的 HBM4 技术。博通传统上高度依赖三星为其 HBM 供应。三星在 HBM3E 一代的表现不佳,这对博通的 ASIC 构成了劣势。然而,现在三星凭借 HBM4 领先于其竞争对手,这种相同的供应链关系已成为 Jalapeño 的优势。
SemiAnalysis:HBF 非 HBM 替代,成本与散热仍存不确定性
火星财经消息,P Equity Research 与 SemiAnalysis 研究员 Nick Doyle 等在 X Space 讨论高带宽闪存 HBF。Nick 表示,目前判断 HBF 相对 HBM 的成本溢价能缩小多少仍为时过早,现有数据多为厂商说法,如 Sandisk 称每比特成本约为 HBM 的八分之一。良率、测试等会随规模改善,但 TSV、堆叠及 pSLC 模式等结构性成本永久存在,耐久性是关键未知数,若磨损超预期将推高成本。HBF 应用场景狭窄,仅面向 AI 推理,尤其是低 batch、长上下文的 MoE 模型,并非 HBM 替代品。实际带宽目标约 1.6 TB/s,属 HBM3E 级别,适合顺序读取以加载模型权重,更匹配本地或私有企业少量 GPU 的容量需求,而非超大规模带宽场景。散热可靠性尚未解决,闪存在 GPU 旁高温下会加速劣化,UCIe 分离与每日刷新等缓解措施仍未获验证。制造方面,Sandisk/Kioxia 具备 3D NAND 经验,SK Hynix 补充 HBM 式堆叠能力,但量产仍待证实。整体来看,存储正转向分层专业化市场,NAND 短缺预计持续至 2028 年,HBF 可能进一步影响供需。
SemiAnalysis:Nvidia Rubin Ultra 将搭载 192GB HBM4,容量大幅下调
ChainCatcher 消息,SemiAnalysis 发文称,Nvidia Rubin Ultra 将搭载 192GB 的 HBM4 8-hi 内存。这不仅较最初预览的 1TB HBM 出现大幅下调,甚至低于常规版 Rubin 的 288GB 容量。HBM 配置被削减至原先约五分之一的原因包括:四裸片 Rubin Ultra 方案取消后,cube 数量减至 8 个;堆叠高度由 16-hi 降至 8-hi;并采用使用 24Gb 裸片的 HBM4,而非 32Gb 裸片的 HBM4E。后续或推出 8-hi HBM4E 升级版本。
SemiAnalysis:英伟达与内存高利润面临2028变局,AI基建受制于融资与供应链
火星财经消息,10 月 25 日,SemiAnalysis 创始人 Dylan Patel 与 Bernstein 分析师 Stacy Rasgon 近日指出,AI 基础设施投资虽仍有空间,但正面临融资成本攀升与供应链受限的双重考验。美国 10 年期国债收益率突破 5%,部分新兴云服务商无担保债券收益率逼近 15%,而承接近一半建设需求的非超大规模云厂商往往缺乏足够资产负债表支撑。缺乏长期采购承诺(offtake agreement)的项目越来越难获得资金,融资能力正成为 AI 扩张的重要分水岭。与此同时,基板、HBM、光学互联组件及洁净室产能均面临短期难以解决的瓶颈。生产同等容量 HBM 所需晶圆数量约为 DDR5 的 3 至 4 倍,加剧了产能竞争;新建洁净室要到 2027 年才陆续投用。相比之下,电力短缺可通过现场燃气轮机、燃料电池等方式部分缓解。 针对核心产业链,两位分析师警示了 2028 年的潜在转折。英伟达目前仍通过持续的性能提升支撑高售价,但 Google TPU、亚马逊 Trainium 以及 OpenAI 等企业的自研芯片布局,正为大型客户提供替代选择并增强其议价能力。即使英伟达收入继续增长,其市场份额与利润率也未必同步提升。 内存方面,当前 HBM 毛利率高达 88% 至 90%,但市场并未给予极高估值,核心担忧在于 2028 年后新增产能集中释放。若届时扩产速度超过需求增量,叠加 AI 需求增速放缓,当前的高价格与高利润将面临逆转。在企业端,大多数企业将更倾向于通过云服务购买 Token,而非自建算力,这意味着未来 AI 基础设施的需求将高度取决于推理服务的使用量。
SemiAnalysis拆解AI推理:内存带宽比容量更重要,调度层成关键
动察 Beating AI 快讯,研究机构 SemiAnalysis 发布报告,系统拆解大模型推理服务的底层架构。报告认为,随着 MoE 模型成为主流,AI 推理已从单一计算任务演变为由预填充(Prefill)、中间填充(Midfill)、解码注意力(Decode Attention)和解码专家(Decode Experts)组成的复杂流水线,不同阶段对算力、内存带宽和网络的需求存在明显差异。 在多数推理场景下,内存带宽比容量更具经济价值。高带宽内存可提升 Token 生成效率,而闲置的 HBM 只会增加成本。SemiAnalysis 预计,2027 年单个流水线阶段可能需要约 400 至 500GB 本地快速内存,但已完成处理的 KV 缓存应及时迁移至 CPU DRAM 及更低成本的网络存储,避免占用稀缺的 HBM 资源。 调度层将成为 AI 推理基础设施的关键环节。预填充和中间填充的处理时间相对可预测,而解码时长存在较大波动,容易造成任务积压和「延迟反馈震荡」。因此,稳定的缓冲机制、跨时间尺度的调度和 KV 缓存分级管理,将直接影响推理集群的吞吐效率。 在架构选择上,报告比较了聚合式和分离式两种方案:前者将 Prefill 和 Decode 集中在同一设备上,可减少 KV 缓存跨节点传输,但要求硬件同时具备高计算密度和高内存带宽;后者则针对不同阶段配置专用节点,能够实现硬件优化,但会增加数据搬运和网络开销。SemiAnalysis 认为,两种架构的取舍最终取决于未来能否出现兼具高算力和高内存带宽的「全能型」加速器。 报告还通过模拟器预测 Kimi K3 在英伟达 B200、B300 和 GB200 系统上的表现。结果显示,GB200 在部分低延迟场景具备优势,而多数前沿配置的单 GPU HBM 峰值驻留量低于 80GB,进一步凸显内存带宽和存储编排的重要性。
SemiAnalysis 今年营收预计超 1 亿美元
火星财经消息,据 Substrate 9 月 18 日报道,半导体与 AI 基础设施研究机构 SemiAnalysis 今年营收预计超过 1 亿美元,员工规模约 100 人。其创始人 Dylan Patel 于 2020 年以 WordPress 博客起步,2023 年营收达到七位数,订阅收入不到总营收的 5%,绝大部分来自数据模型、机构研究产品 Core Research 与咨询业务。目前公司拥有 12 个模型,覆盖网络、晶圆厂设备、代工、能源等领域,分析师约 50 人。SemiAnalysis 的客户涵盖全球多数大型科技公司,Nvidia 首席执行官黄仁勋、AMD 首席执行官苏姿丰、Meta 首席执行官扎克伯格、微软首席执行官纳德拉及 OpenAI 首席执行官奥特曼均为其读者。其 CoWoS 与 HBM 供应链模型曾预测 Nvidia 每季度出货 40 万颗 H100,OpenAI 在 Hot Chips 发布自研芯片 Jalapeño 时采用其 InferenceX 作为第三方基准。Dylan Patel 近期募集了 5 亿美元的 SemiAnalysis Capital Fund I,用于早期初创投资。公司计划向能源领域扩张,分析师将实地接触不同电网与公用事业相关方。