腾讯混元3.0正式版开源：换用Apache 2.0扫清出海限制，幻觉率减半
相关推荐
Cursor重排GPU流水线，MoE模型训练提速41%
据动察 Beating 监测，Cursor 开源 Mixture-of-Kittens（MoK），用于加速 MoE 大模型训练。它把原本分开的 GPU 数据传输和计算，合进一个 kernel（直接在 GPU 上运行的底层程序）。 MoE 会把模型拆成大量「专家」，每次只调用其中一部分。专家分散在不同 GPU 上，数据需要频繁搬运，有时会占掉一半以上的训练时间。 MoK 让 GPU 一边传数据，一边做计算，减少等待。在 512 块 GB300 GPU 的实际训练中，整体吞吐提高 41%。单独测试 MoE 层时，最高比公开方案快 2.37 倍。 MoK 已用于 Cursor 数万块 GPU 的 Composer 训练，并以 Apache 2.0 开源。目前只支持英伟达 Blackwell GPU，主要面向拥有 GB200、GB300 NVL72 集群的机构。
谷歌Pixel部署零拷贝MTP，Gemini Nano推理提速超50%且省内存
据动察 Beating 监测，谷歌在 Pixel 9 与 Pixel 10 系列设备中部署了多 Token 预测（MTP）架构，直接加速内置的 Gemini Nano v3 模型。通过将轻量级 Transformer 预测头附加到已冻结的主模型尾部，新架构在完全保留原有安全对齐与输出质量的同时，将设备端推理速度提升了 50% 以上。 传统的投机解码需要运行一个独立的草稿模型来预测候选 Token。这不仅额外抢占手机的运行内存，且由于独立模型无法访问主模型的内部隐藏状态，导致预测准确率受限。新架构通过在冻结的主模型尾部嵌入 MTP 头，成功复用主模型已计算的特征激活，显著提升了候选 Token 的预测准确率。 为避免草稿计算在自回归生成时产生重复的运行内存开销，谷歌设计了零拷贝（zero-copy）机制。传统方案中，草稿模型生成候选词时需要维护独立的键值缓存（KV cache）记忆，而零拷贝机制让外挂预测头直接通过交叉注意力（Cross-Attention）去读取主模型已有的缓存。这不仅消除了草稿预测的启动延迟，还为手机节省了约 130MB 的运行内存空间。 在通知摘要与文本校对等 Pixel 实际业务中，MTP 架构使模型单次推理平均能成功多预测近 2 个 Token，降低了主处理器因校验而频繁被唤醒的频率，从而节省了系统功耗。在智能回复等高度结构化文本生成任务中，Token 接受率提升达 55%。
谷歌开源文本扩散模型DiffusionGemma：单卡超千Token每秒，速度提升4倍
据动察 Beating 监测，谷歌发布实验性开源大模型 DiffusionGemma，采用基于扩散（diffusion）的全新文本生成机制，打破了传统大语言模型逐词顺序生成的限制。DiffusionGemma 拥有 26B 总参数量，在混合专家（MoE）架构下每次前向传播仅激活 3.8B 参数，通过并行生成整块文本，在本地 GPU 推理中实现高达 4 倍的速度提升。 与传统的「打字机式」逐词生成不同，DiffusionGemma 的工作原理类似于图像生成，先在画布上生成随机占位符，再通过多轮时间步迭代擦除噪点并锁定正确文本。每次前向传播可并行生成 256 个 Token，使所有 Token 均能实现双向注意力交互。双向注意力机制在代码填充、行内编辑和数学公式生成等非线性生成任务中具有显著优势，但 DiffusionGemma 的整体输出质量目前仍低于标准 Gemma 4。 在硬件测试与推理速度表现上，单张 NVIDIA H100 显卡可实现每秒 1000 个以上的 Token 生成速度，消费级 NVIDIA GeForce RTX 5090 显卡也超过 700 个 Token。经过 4-bit 浮点（NVFP4）量化后，推理显存占用可降至 18GB 以内，显著降低了本地部署门槛。 DiffusionGemma 权重已在 Hugging Face 开源，并获得 MLX、vLLM、Unsloth 及 NVIDIA NeMo 等主流开发工具支持。
英伟达正式开源旗舰级550B模型Nemotron 3 Ultra：首创Mamba-Transformer混合MoE架构，专为长程智能体而生
据动察 Beating 监测，英伟达于 6 月 4 日正式开源 5500 亿参数、激活 550 亿的旗舰大语言模型 Nemotron 3 Ultra，针对复杂规划、推理和工具调用等长程智能体任务进行了优化。在第三方基准平台 Artificial Analysis 的智能指数中，Nemotron 3 Ultra 得分 48 分，是目前美国本土性能最强的开源权重模型，仅次于月之暗面得分 54 分的 Kimi K2.6。 技术架构上，模型采用 Mamba-Transformer 混合专家架构 MoE，通过交替使用 Mamba-2 状态空间模型层与 Transformer 自注意力层，规避了超长上下文下 KV 缓存呈二次方增长的内存瓶颈，在极低内存开销下支持 100 万 token 的上下文窗口。相比同规模 dense 模型，混合架构在智能体任务下提升了 5 倍吞吐量，并降低了 30% 的推理成本。 生态配套上，英伟达同步发布了包含 NemoClaw 编排蓝图与 OpenShell 运行时的智能体工具包 Agent Toolkit。开源内容直接包含模型权重、数据集与训练配方。模型已在 Hugging Face、NVIDIA NIM 及 OpenRouter 上线，企业级 AI 搜索服务商 Glean 等已宣布接入，用作商业闭源大模型的替代方案。
Cohere开源Command A+：218B参数MoE大模型，主打企业级Agent与数据主权
据动察 Beating 监测，Cohere 正式开源 2180 亿参数的稀疏混合专家模型 Command A+，采用 Apache 2.0 协议支持企业级 Agent 构建与私有化部署。新模型专为关键基础设施的数据主权需求设计，支持企业在无厂商锁定的情况下进行物理隔离部署。 新模型总参数量为 2180 亿（218B），但单次推理仅激活 250 亿（25B）参数，实现了计算效率与生成性能的平衡。优化后的推理效率使其仅需两张 NVIDIA H100 或单张 B200 GPU 即可运行，Hugging Face 也同步上线了 W4A4 等低精度量化版本，进一步降低了部署门槛。 Command A+ 原生支持多模态图文输入，提供 12.8 万（128K）Token 的输入上下文窗口以及 6.4 万 Token 的输出长度。它针对复杂的逻辑推理、自主工具调用、数据库查询等 Agentic 工作流以及长文档处理进行了深度优化，并支持包含所有欧盟官方语言在内的 48 种语言。
OpenAI把GPT-5.6 Sol提速14倍：750 token/s先上API
据动察 Beating 监测，OpenAI 开始预览 GPT-5.6 Sol 的 Ultrafast 模式。它由 Cerebras 提供算力，最高输出速度达到 750 token/s，最高是 Standard 模式的 14 倍。目前只向少量 API 客户开放。 OpenAI 已在故障排查、研究、客服、金融分析和开发 Agent 等场景中测试 Ultrafast。对于需要连续多次调用模型的 Agent，单次响应提速也能直接缩短整个任务的执行时间。 这比 OpenAI 7 月底推出的 Fast 模式又快了一档。Fast 模式最高是 Standard 的 2.5 倍，Ultrafast 则把上限推到 14 倍。OpenAI 暂未公布 Ultrafast 的价格，也没有宣布何时进入 ChatGPT。