返回 7*24 快讯
来源MarsBit

SemiAnalysis:Kimi K3大幅降低KV传输带宽,但AI网络需求不会因此收缩

火星财经消息,7 月 19 日,半导体与 AI 独立研究机构 SemiAnalysis 发文表示,尽管 Kimi K3 约四分之三的网络层采用 KDA,相比完整全局注意力模型可将 KV 缓存传输带宽降低最多 10 倍,但这并不意味着 AI 网络交换机市场规模将大幅收缩。 Kimi K3 拥有 2.8 万亿参数,即使采用 MXFP4,每次前向计算仍需约 1.5TB HBM 带宽。若要在保持合理交互速度的同时实现盈利部署,仍需通过 GB300 NVL72 等高带宽网络连接大量芯片,并依赖 WideEP 扩展服务。 WideEP 会将 896 个专家模型分散至多个 GPU,并在每层、每次前向计算中两次执行 Token 分发与结果合并,单次前向计算需执行 120 次以上。相比之下,预填充与解码之间的 KV 缓存传输每轮对话仅发生一次,因此 KDA 节省的传输带宽,可能远小于大规模专家模型带来的扩展网络需求。 SemiAnalysis 认为,更高效的注意力机制还可能推动上下文长度从 100 万 Token 提升至 500 万 Token 以上。根据 Jevons 悖论,效率提升可能扩大 AI 使用规模,从而进一步增加网络需求。
免责声明:以上内容仅为作者观点,不代表 711BTC 的任何立场,不构成与 711BTC 相关的任何投资建议。

相关推荐

08-03 14:37

SemiAnalysis:英伟达Rubin Ultra主线版本HBM或降至192GB,数据中心供电与HBM供应成关键约束

BlockBeats 消息,8 月 3 日,研究机构 SemiAnalysis 发布报告称,英伟达向关键客户预览的 Rubin Ultra 规格低于此前市场预期。报告称,Rubin Ultra 主线 SKU 仍将采用 HBM4,理论峰值 FLOPs 保持不变,但 HBM 配置降至 8-Hi、192GB,低于此前 Rubin 的 12-Hi、288GB。芯片级功耗约为 1800W,与初期 Rubin 出货版本相近。 报告指出,Rubin Ultra 当前路线图的主要升级点集中在 NVL576 级别的规模化互联。其中一个系统形态为 8 个 72 GPU 机架互联,并采用 NPO 实现交换机间跨机架连接。SemiAnalysis 认为,该形态是目前较具可能性的候选方案之一。 SemiAnalysis 表示,英伟达仍可能提供 2600W 至 2800W 的 Max-P 高功耗版本,另有面向 token decode 等较低计算负载的 1200W 版本。1800W Max-Q 版本则更符合当前数据中心供电受限环境,在 FLOPs/Watt 维度更具部署效率。 SemiAnalysis 认为,英伟达调整 Rubin Ultra 规格,核心原因在于 HBM 供应紧张及数据中心供电约束。降低 HBM 容量和功耗规格,有助于提升客户部署可行性,降低物料成本,并缓冲明年 HBM 涨价压力。

07-20 19:35重要

SemiAnalysis:Kimi K3跻身全球第三,或揭示OpenAI与Anthropic隐藏利润空间

火星财经消息,7 月 20 日,SemiAnalysis 分析师 Jordan Nanos 和 Max Kan 近日围绕月之暗面旗下模型 Kimi K3 展开分析,认为该模型在综合基准测试中超越 Google Gemini,不仅反映中美 AI 模型差距缩小,也为推测 Anthropic 和 OpenAI 等闭源 AI 公司的商业模式提供了新视角。 根据 SemiAnalysis 综合评价,Kimi K3 目前排名全球第三,仅次于 Fable 5 和 GPT-5.6,并超过 Google Gemini。分析师表示,虽然这一结果并不意味着 Google AI 业务出现重大问题,但 Kimi K3 公开披露的参数规模、性能和定价,为外界估算闭源模型经济价值提供了参考。 Kimi K3 拥有 2.8 万亿参数,远超多数公开模型。Jordan Nanos 表示,如此规模的模型无法部署在单个英伟达 B200 GPU 上,需要 GB300、B300 级别系统或 AMD MI355X 等更高规格硬件支持。他据此推测,Anthropic 和 OpenAI 的旗舰闭源模型可能也处于类似参数规模,而非拥有数量级领先优势。 在商业模式方面,Kimi K3 上线价格接近 Anthropic Sonnet 系列模型,输入价格约为每百万 token 3 美元,输出价格约为每百万 token 15 美元,较上一代 Kimi 模型价格上涨约 3 倍。 Max Kan 认为,如果月之暗面并非长期亏损运营,那么 Anthropic 和 OpenAI 针对类似规模模型收取更高价格,意味着其 API 业务可能具备较高利润率。「出售 API token 可能比 SaaS 更赚钱。」他说。 不过,两位分析师强调,上述判断并非基于 AI 公司的公开财务数据,而是通过 Kimi K3 的参数、价格和性能表现进行反向推演。

08-11 17:07重要

上海:围绕高性能计算芯片(GPU/NPU)、量子芯片(QPU)、高速光互连(CPO)、高带宽内存(HBM)及异构服务器等核心环节 推动自主芯片与主流大模型深度融合

火星财经消息,上海市经济和信息化委员会印发《上海市软件和信息服务业发展“十五五”规划》。其中提到,攻坚下一代模型架构,推动基于状态空间模型、循环神经网络变体、液态神经网络等非Transformer架构的多技术路线探索。加快布局物理智能、世界模型、量子智能、类脑智能等前沿基础模型技术体系。攻关超大规模智能算力集群组网技术,围绕高性能计算芯片(GPU/NPU)、量子芯片(QPU)、高速光互连(CPO)、高带宽内存(HBM)及异构服务器等核心环节,提升智算硬件的供给能力,推动自主芯片与主流大模型深度融合。聚焦新型存储检索、数模协同等,突破高精度异构处理、原生多模态融合及动态价值对齐等关键技术,建设覆盖语料全生命周期的自动化复杂推理。(财联社)

08-07 00:19

英伟达考虑降低Rubin Ultra GPU配置,以缓解HBM供应短缺

PANews 8月7日消息,据The Information报道,英伟达正在考虑调整下一代Rubin Ultra GPU的设计方案,通过减少高带宽内存(HBM)配置来应对先进HBM芯片供应紧张问题。 知情人士透露,过去几周英伟达已测试至少三种不同版本的Rubin Ultra GPU,其中部分版本搭载的显存容量低于公司此前公布的规划。英伟达考虑推出低显存版本,主要原因是市场可能无法获得足够数量的先进HBM芯片。 HBM是AI加速器的关键组件,能够提供更高的数据传输速度,成为训练和推理大型AI模型的重要基础。随着AI算力需求快速增长,HBM供应已成为限制高端AI芯片产能的重要因素之一。

08-04 20:41重要

美股盘前要闻一览:光通信、存储板块盘前大涨;全球最小GPU芯片通过实测;机构称英伟达评估下调Rubin Ultra平台的HBM配置

火星财经消息,投资者需重点关注的美股市场财经要闻如下:1、美三大股指期货集体上行。道琼斯指数期货涨1.25%,标普500指数期货涨0.35%,纳斯达克100指数期货涨1.11%。2、国际油价集体下挫。WTI原油期货价格跌3.33%,报77.663美元/桶;布伦特原油期货价格跌2.57%,报81.621美元/桶。消息面上,美财长贝森特称,美国可能明日与伊朗达成协议以开放霍尔木兹海峡。3、国际金银现货集体走高。现货黄金价格涨0.43%,报4072.67美元/盎司;现货白银价格涨2.72%,报59.74美元/盎司。4、欧洲三大股指集体上涨。英国富时100指数涨0.34%,法国CAC40指数涨0.32%,德国DAX30指数涨0.82%。5、美股光通信板块盘前大幅拉升,Coherent涨超13%,Lumentum涨超12%,康宁、迈威尔科技涨近8%。存储股普涨,闪迪涨超5%,美光科技、SK海力士涨超4%。6、AI应用股Palantir盘前大涨15%。公司二季度营收19.4亿美元,高于市场预期,并上调全年营收指引至81.5亿-81.6亿美元。7、全球最小GPU芯片TinyGPU v2.0据悉通过实机测试。该芯片约有24万个晶体管,具备4-bit双缓冲,以及存储在QSPI RAM中的8-bit深度缓冲。8、SpaceX正在设计其卫星系统,以适应由人工智能、机器学习和边缘计算驱动的数据需求的爆炸式增长,其目标是部署一个最多达一百万颗卫星的系统。与此同时,SpaceX将于今晚美股盘后交出其上市后的首份成绩单。9、集邦咨询表示,DRAM供不应求格局将延续至2027年,英伟达评估下调Rubin Ultra平台的HBM配置。部分云端服务供应商也正考虑调降下一代自研ASIC的HBM容量设计。10、马斯克7月单月身价缩水3630亿美元,这一缩水幅度超过了全球第2至第10大富豪中任何一人的全部身家。(财联社)

08-04 07:37

SemiAnalysis:AMD股价若涨至600至700美元,Meta与OpenAI的GPU资本成本或降至零

BlockBeats 消息,8 月 4 日,半导体与 AI 独立研究机构 SemiAnalysis 发文表示,AMD 于去年末及今年初分别与 Meta、OpenAI 达成协议,向两家公司提供与业绩挂钩的认股权证。相关权证将根据最多 6GW AMD Instinct GPU 的采购及部署进度归属,同时还取决于 AMD 股价能否跨越多个门槛,最高门槛为 600 美元。 AMD 股价已由 2026 年初约 200 美元升至目前约 500 至 600 美元。假设与股价相关的权证归属大致呈线性变化,且 6GW 容量全部完成部署,Meta 与 OpenAI 每颗 GPU 的小时资本成本将分别由约 2.15 美元和 2.50 美元,降至约 1.60 美元和 1.75 美元。 SemiAnalysis 表示,若 AMD 股价升至 600 至 700 美元区间,两家公司仅就 GPU 而言的资本成本可能实际降至零。若 AMD 持续改善软件栈、获得更多大型客户订单,并推动股价升至 1000 美元以上,则包括服务器设备、网络及 CPU 在内的整个集群资本成本,理论上也可能降至接近零。