中国移动云公司发布异构混合推理系统:类脑芯片+国产GPU 突破单一架构的性能瓶颈
相关推荐
DeepSeek开始直接对接大规模部署:有2000张GPU可以找官方
动察 Beating AI 快讯,DeepSeek 在 V4.1 Flash 开源公告里罕见地直接向大规模部署方喊话:如果有 2000 张 GPU 和存储集群,可以直接联系 DeepSeek。 但这并不是新的商业授权门槛。V4.1 Flash 仍按 MIT License 开源,没有按照公司营收或业务规模设置额外授权条件。有资源的企业可以自己部署,联系 DeepSeek 更像是针对超大规模场景的直接技术合作。DeepSeek 目前也没有宣布正式的私有化部署产品或收费服务。 过去 DeepSeek 开源模型后,部署适配更多由 SGLang、TensorRT-LLM 等推理框架和硬件厂商完成。这次官方主动留下大规模部署的直接联系方式,并表示会继续支持开源社区做新模型的推理适配,尝试进一步扩大部署范围。
FreeToken开源:一张5090跑DeepSeek-V4-Flash,最高25 Token/s
动察 Beating AI 快讯,伯克利、MIT 等研究者开源 FreeToken。这是一个专门为本地设备设计的 MoE(混合专家模型)推理引擎,主要解决超大模型显存装不下的问题。它会把部分权重放在系统内存,并让 CPU 和 GPU 一起参与推理。 FreeToken 会把模型的大量专家权重放在系统内存,只把一部分缓存在显存。遇到显存里没有的专家时,它会根据 PCIe 和 CPU 内存带宽,动态决定是把权重搬到 GPU,还是直接交给 CPU 计算。这样 CPU、GPU、系统内存和 PCIe 可以一起参与推理。 论文实测,一台配备 RTX 5090 的游戏台式机运行 284B 参数的 DeepSeek-V4-Flash,可以达到 22–25 Token/s。这款模型每生成一个 Token 实际只激活约 13B 参数,因此特别适合这种 CPU、GPU 混合推理。 FreeToken 还在 8GB 显存的 RTX 4060 笔记本上把 35B 模型跑到 39.3 Token/s;单张 96GB RTX PRO 6000 则可以运行 753B 参数的 GLM-5.2,速度达到 llama.cpp 的约两倍。项目目前支持超过 20 款 MoE 模型,并已采用 Apache 2.0 许可证开源。
DeepSeek V4.1 Flash第三方实测:没夺回国模第一,但成本只有Kimi、GLM七分之一
动察 Beating AI 快讯,Artificial Analysis 完成 DeepSeek V4.1 Flash 独立测试,综合智能指数拿到 40 分。它已经超过自家 V4 Pro 0813 的 36 分,但仍低于 Kimi K3 的 44 分和 GLM-5.3 的 45 分。按这套第三方榜单,DeepSeek 还没夺回国产模型第一。 但价格差距非常夸张。V4.1 Flash 跑完一个 Intelligence Index 任务平均只花 0.27 美元,Kimi K3 和 GLM-5.3 都在 2 美元左右,相差约 7 倍。输出速度达到 197 Token/s,也远高于 Kimi K3 的约 36 Token/s 和 GLM-5.3 的约 58 Token/s。 Agent 依然是它最强的部分。AutomationBench-AA 上,V4.1 Flash 拿到 69%,追平 GPT-6 Astra,并超过 GLM-5.3 的 62%;长上下文测试 AA-LCR 也拿到 84%。缺点是它特别能说,AA 测试中单任务平均输出约 8.9 万 Token,比 V4 Pro 多 62%,吃掉了一部分价格优势。
B.AI 宣布 DeepSeek-V4.1-Flash 多模态模型上线
ChainCatcher 消息,B.AI 平台宣布 DeepSeek 原生多模态 MoE 大模型 DeepSeek-V4.1-Flash 正式上线。该模型采用 5520 亿参数主干与 Causal Encoder-Decoder 架构,输入与输出采用非对称计算规模。模型支持 100 万 Token 上下文与 384K Output,面向长周期编程 Agent、多模态工作流与高并发 Agent 系统。目前 Web Chat 与 API 双端接入均已开放。
DeepSeek开始模型和Agent一起训:V4.1 Flash为Harness专项优化
动察 Beating AI 快讯,DeepSeek Harness v0.1.5 发布。V4.1 Flash 在训练阶段就针对 Harness 做了专项训练和优化,覆盖标准、PTC 和极简三种模式。Harness 已经直接进入模型训练环节,不再只是模型发布后再接一个 Agent 外壳。 新版还加入实验性的 Agent Teams。父子 Agent 可以双向通信,主 Agent 能给不同子 Agent 指定模型和推理强度;多个 Agent 还能共享任务、互相发消息,最后由主 Agent 汇总。 V4.1 Flash 还有一个很特别的长任务优化:Agent 跑到一半修改系统提示词,也可以尽量保留已有 KV Cache。长任务不用因为前面的规则改了一点,就把后面大段上下文重新计算。 Web 端也加入文件上传和预览,支持 PDF、图片、代码等格式。插件可以往左右 Sidebar 和内容区接入自己的 UI,长会话的加载、恢复和内存占用也一起做了优化。
DeepSeek V4.1 Flash模型正式发布
PANews 9月10日消息,DeepSeek正式发布DeepSeek V4.1 Flash模型。这是公司全新模型结构系列中的最小尺寸的模型,具备原生多模态视觉理解能力。据介绍,新一代模型大幅减少了KV Cache缓存的大小,与上一代模型相比,对HBM的需求减少到1/4,对SSD的需求减少到1/8。在Agent使用场景中,缓存命中的费用往往占比较高,对KV Cache的压缩大幅降低了Agent类任务的使用成本。