华为昇腾 950PR 矩阵计算速度仅为 H100 的 43%
相关推荐
DeepSeek与华为联手挑战英伟达AI算力霸权：参与下一代芯片设计，年底冲刺国产芯片预训练
动察 Beating AI 快讯，去年，DeepSeek 尝试用华为昇腾芯片训练 R2，最后没能成功。《金融时报》当时披露，芯片稳定性、跨卡通信和软件支持都存在问题。即便华为派工程师驻场协助，DeepSeek 最终还是转回英伟达芯片完成训练。 一年多后，双方的合作进一步深入硬件设计。《The Information》现在披露，华为工程师长期驻扎 DeepSeek 办公室，将模型训练中的实际需求直接纳入下一代昇腾芯片的设计，包括如何安排计算任务，以及如何在芯片之间传输数据。 DeepSeek 今年 9 月底刚开源了昇腾版 TileLang，以及矩阵计算、MoE 专家通信等底层工具，减少了模型迁移到国产芯片所需的开发工作。但软件能跑起来，距离完整预训练还有很长一段路。上万颗芯片需要连续协同数周，任何一颗发生故障，或者数据传输出现延迟，都可能拖慢整个集群。如今双方开始从芯片设计阶段处理这些问题。 华为计划将 2027 年第一季度就绪的昇腾 960DT 的大部分供应优先交给 DeepSeek，而不是分散给其他模型公司。DeepSeek 则准备最快今年年底先用 950DT 开始预训练。目前相关测试已使用超过 1000 颗芯片，完整预训练可能需要上万颗，部分集群管理软件仍未完成。与此同时，DeepSeek 仍在寻求更多英伟达芯片。
DeepSeek开源昇腾基础组件
火星财经消息 9月30日，DeepSeek正式开源面向华为昇腾算力平台的基础设施组件，涵盖TileLang高级语言编译工具、计算库、分布式通信库。所有组件与此前面向英伟达平台的开源组件一一对应。DeepSeek方面表示，“在面向昇腾平台的研发过程中，华为团队给予了毫无保留的大力支持。双方紧密合作，共同推进基于昇腾950的128卡超节点方案、共同对计算与通信进行了深度优化。”（广角观察）
SemiAnalysis拆解AI推理：内存带宽比容量更重要，调度层成关键
动察 Beating AI 快讯，研究机构 SemiAnalysis 发布报告，系统拆解大模型推理服务的底层架构。报告认为，随着 MoE 模型成为主流，AI 推理已从单一计算任务演变为由预填充（Prefill）、中间填充（Midfill）、解码注意力（Decode Attention）和解码专家（Decode Experts）组成的复杂流水线，不同阶段对算力、内存带宽和网络的需求存在明显差异。 在多数推理场景下，内存带宽比容量更具经济价值。高带宽内存可提升 Token 生成效率，而闲置的 HBM 只会增加成本。SemiAnalysis 预计，2027 年单个流水线阶段可能需要约 400 至 500GB 本地快速内存，但已完成处理的 KV 缓存应及时迁移至 CPU DRAM 及更低成本的网络存储，避免占用稀缺的 HBM 资源。 调度层将成为 AI 推理基础设施的关键环节。预填充和中间填充的处理时间相对可预测，而解码时长存在较大波动，容易造成任务积压和「延迟反馈震荡」。因此，稳定的缓冲机制、跨时间尺度的调度和 KV 缓存分级管理，将直接影响推理集群的吞吐效率。 在架构选择上，报告比较了聚合式和分离式两种方案：前者将 Prefill 和 Decode 集中在同一设备上，可减少 KV 缓存跨节点传输，但要求硬件同时具备高计算密度和高内存带宽；后者则针对不同阶段配置专用节点，能够实现硬件优化，但会增加数据搬运和网络开销。SemiAnalysis 认为，两种架构的取舍最终取决于未来能否出现兼具高算力和高内存带宽的「全能型」加速器。 报告还通过模拟器预测 Kimi K3 在英伟达 B200、B300 和 GB200 系统上的表现。结果显示，GB200 在部分低延迟场景具备优势，而多数前沿配置的单 GPU HBM 峰值驻留量低于 80GB，进一步凸显内存带宽和存储编排的重要性。
Jina魔改DeepSeek-OCR，自测14款里页面吞吐第一
动察 Beating AI 快讯，Jina AI 发布文档解析模型 jina-ocr-v1，可以把 PDF、扫描件、表格和图表直接转成 Markdown。它基于 DeepSeek-OCR 做后训练，沿用其约 34 亿总参数、解码时每个 Token 激活约 5.7 亿参数的 MoE 架构，并加入 FastMTP 推测解码。 Jina 自测中，jina-ocr-v1 在 OmniDocBench v1.6 得 91.14，比 DeepSeek-OCR-2 高 0.89 分；在 olmOCR-Bench 得 83.4，比它实际基于的 DeepSeek-OCR 底模高 7.4 分。 吞吐量是 Jina 主打的卖点之一。单张 A100、并发 32 时，它达到 2.57 页/秒，在 Jina 测试的 14 个系统中最高，比 DeepSeek-OCR 的 2.10 页/秒高约 22%。 模型权重已经放上 Hugging Face，采用 CC BY-NC 4.0，商业使用需要联系 Jina。
B.AI 宣布 DeepSeek-V4.1-Flash 多模态模型上线
ChainCatcher 消息，B.AI 平台宣布 DeepSeek 原生多模态 MoE 大模型 DeepSeek-V4.1-Flash 正式上线。该模型采用 5520 亿参数主干与 Causal Encoder-Decoder 架构，输入与输出采用非对称计算规模。模型支持 100 万 Token 上下文与 384K Output，面向长周期编程 Agent、多模态工作流与高并发 Agent 系统。目前 Web Chat 与 API 双端接入均已开放。
FreeToken开源：一张5090跑DeepSeek-V4-Flash，最高25 Token/s
动察 Beating AI 快讯，伯克利、MIT 等研究者开源 FreeToken。这是一个专门为本地设备设计的 MoE（混合专家模型）推理引擎，主要解决超大模型显存装不下的问题。它会把部分权重放在系统内存，并让 CPU 和 GPU 一起参与推理。 FreeToken 会把模型的大量专家权重放在系统内存，只把一部分缓存在显存。遇到显存里没有的专家时，它会根据 PCIe 和 CPU 内存带宽，动态决定是把权重搬到 GPU，还是直接交给 CPU 计算。这样 CPU、GPU、系统内存和 PCIe 可以一起参与推理。 论文实测，一台配备 RTX 5090 的游戏台式机运行 284B 参数的 DeepSeek-V4-Flash，可以达到 22–25 Token/s。这款模型每生成一个 Token 实际只激活约 13B 参数，因此特别适合这种 CPU、GPU 混合推理。 FreeToken 还在 8GB 显存的 RTX 4060 笔记本上把 35B 模型跑到 39.3 Token/s；单张 96GB RTX PRO 6000 则可以运行 753B 参数的 GLM-5.2，速度达到 llama.cpp 的约两倍。项目目前支持超过 20 款 MoE 模型，并已采用 Apache 2.0 许可证开源。