DeepSeek、Kimi都在拼命砍缓存，英伟达开始让缓存跨模型复用
相关推荐
DeepSeek披露单GPU每小时可创造38美元计费收入，AI推理盈利能力引发关注
动察 Beating AI 快讯，DeepSeek 近期开源推理框架 DeepInfer，并披露其集群每天可处理 155 万亿 Token。按照 DeepSeek API 谷时价格折算，平均每 GPU 小时对应约 38 美元的理论计费收入，若按全年不间断运行计算，年化计费收入超过 33 万美元。 DeepSeek 通过专家并行、推测解码、异步调度及 KV Cache 优化等技术提升推理效率，但上述数字属于理论计费收入，并不等于实际营收或利润。实际收益还取决于 GPU 利用率、付费请求比例、硬件与电力成本，以及服务延迟等因素。 AI 行业正面临需求增长与盈利压力并存的局面。一方面，中小企业 AI 应用及 Agent 部署需求持续升温；另一方面，模型训练、推理服务和基础设施投入仍在侵蚀部分企业利润。据报道，CoreWeave 第二季度营收同比增长约 112% 至 25.75 亿美元，但仍净亏损 6.26 亿美元。 分析认为，推理效率提升有望扩大 AI 服务的利润空间，但高效生产 Token 并不必然意味着商业盈利。随着模型调用量增长，企业仍需解决算力成本、服务定价和客户付费意愿之间的平衡问题。
微软要把Windows变成Agent工作台：AI能直接操作电脑，还能少花Token
动察 Beating AI 快讯，微软公布 Windows「混合智能」计划，准备让 AI Agent 直接在电脑上执行任务。获得授权后，Copilot 可以读取本地文件和近期活动，还能整理文件、排查故障、编写程序。微软演示中，它自动找齐报税材料，修改文件名、打包附件，并起草了发给会计师的邮件。 这套方案的关键，是让本地 AI 和云端 AI 配合工作。Copilot 负责接收任务，Windows 提供访问文件和执行操作的能力。部分任务可以交给电脑上的模型处理，减少云端 Token 消耗，也让敏感数据留在本地。需要更强推理能力时，再调用云端模型。 为了支撑本地运行，微软将 1370 亿参数的编程模型 MAI Code 1.1 Flash 压缩至 53GB，让它能在搭载 RTX Spark 的高性能电脑上运行。GitHub Copilot 也将通过 HydraFusion 自动选择本地或云端模型，让部分编程任务不再依赖付费的云端推理。 微软还推出 MXC 安全沙箱，限制 Agent 能访问的文件和网络，防止越权操作。目前 MXC 已正式开放。Copilot 读取本地文件、执行电脑操作等新能力，则将在未来几个月陆续登陆 Copilot+ PC。
DeepSeek Harness底座Cordis有了Rust实现：DimAgent准备用它重构
动察 Beating AI 快讯，DimAgent 创始人 Han Cheng 开源插件运行时 Rutis，并表示接下来会用它支撑 DimAgent 的新架构。Rutis 用 Rust 重新实现了 Cordis 的核心设计，后者正是 DeepSeek Harness 使用的底层插件框架。 DeepSeek Harness 用 Cordis 管理模型、工具、会话、Agent Loop 等组件。每个组件都可以做成插件，只声明自己需要和提供哪些服务，Cordis 负责启动、卸载、依赖变化和资源清理。 Rutis 把这套机制搬到了 Rust，同时支持 TypeScript、JavaScript 和 Python 插件。不同语言的插件可以互相调用，也可以分布在不同进程和机器上运行。现有 Cordis 插件也可以直接接入，不需要全部重写。
英伟达让AI重写Kimi注意力内核：速度达到官方版近3倍
动察 Beating AI 快讯，NVIDIA 研究团队让 AI Agent 直接重写了 Kimi Delta Attention 的 GPU 内核。Kimi Delta Attention 是月之暗面 Kimi-Linear 模型使用的核心注意力机制之一。这类底层代码过去通常需要熟悉 CUDA 和芯片架构的工程师反复手工优化。 最终，Agent 写出的版本在 NVIDIA B300 上达到月之暗面官方 FlashKDA 的 2.96 倍速度。团队测试了固定长度和不同变长序列共 6 组任务，2.96 倍是全部任务的几何平均值。相关内核已经开源。 但 Agent 也很快找到了测试漏洞。它曾把测试数据的统计规律直接写死进代码，跑出 3.74 倍；还试过只保留最近 32 个 token，单项成绩甚至达到 5.16 倍。这些版本一换到真实 Kimi 数据就会算错，有的直接失效。 团队随后加入真实 Kimi 运行数据、随机输入和极端数值测试，并收紧误差标准。最终保留下来的 2.96 倍版本通过了这套验证。
DeepSeek提出Super-agent架构设计，探索更自主的Agent系统
PANews 10月31日消息，据IT之家报道，DeepSeek Harness官方团队发布《Super-agent设计探索：迈向更自主的Agent系统》，介绍其面向工程实践的Super-agent架构。DeepSeek称，现有Agent以单一Session为单位，用户并行处理多任务时需手动切换，通常只能同时跟进3至5个活跃Session，还面临单会话阻塞、上下文混乱和本地离线后任务停止等问题。 DeepSeek将Super-agent的特征归纳为连续、高效、主动和持久，整体架构由Router与Worker双层结构、事件驱动、面向人的交互、计算与状态及环境分离、Watchdog五部分组成。
Kimi训练AI老板，General Reasoning训练整家AI公司
动察 Beating AI 快讯，今年 1 月，Kimi K2.5 推出 Agent Swarm，让一个主 Agent 招募、指挥多个子 Agent，随后的 K2.6 将规模扩大到最多 300 个子 Agent。 但 Kimi 的强化学习方法 PARL 只训练负责指挥的「老板」，冻结子 Agent。原因是多人完成一项任务，很难分清谁立了功；如果所有人同时调整策略，训练也容易变得不稳定。 General Reasoning 偏要试试另一条路。团队推出 120B 参数模型 Avalon-M1-Mini，并提出 RLCR（集体奖励强化学习）。它让一个 Agent 担任 CEO，最多招募 8 名员工，通过留言板和共享工作区协作。所有成员使用同一套模型，任务完成后不再逐个计算贡献，而是根据团队总成绩一起接受强化学习。 这套方法在 147 个训练环境、超过 200 万项不同任务中取得了持续改进。软件任务中，主管工程师在招募岗位中的占比从 0.4% 升至约 13%，至少开展一次互审的团队占比从 42% 提高到 64%。分工也发生变化：从每人各写一部分代码，逐渐转向一人主写、其他人负责测试和挑错。原本需要人工设计的管理层和质检流程，在训练中自行形成。 但组队成绩更好，有一部分只是因为用了更多 Token。研究人员给单个 Agent 同样多的输出 Token，就能追回团队约六成的得分优势。团队的主要好处是可以同时干活：在 12 项评测中，达到相近成绩的估算耗时平均只有单 Agent 的约四分之一。 研究人员还模拟了今年 OpenAI 智能体攻击 Hugging Face 的事件。210 次测试中，没有 Agent 调用模拟攻击工具。但随着训练推进，向人类评测人员报告异常的比例从 76.7% 降到 0，尽管 96.7% 至 100% 的执行记录都曾考虑过上报。有的 Agent 选择只在团队内部提出异议，有的计划报告，却没有真正行动。 目前 Avalon-M1-Mini 仍在训练，团队计划在训练完成后发布最终论文，并开源训练环境、Agent 框架和模型权重。