天数智芯推出业界最高密度单机柜超节点，单柜集成144颗GPU
相关推荐
观点：LLM Token价格腰斩并不意味着AI需求转弱，GPU算力租赁市场仍显示需求强劲
BlockBeats 消息，9 月 24 日，专业数据机构 Silicon Data 发文称，市场近期频繁引用其 LLM Token Index 作为看空 AI 交易的依据，但该指标下跌并不意味着 AI 需求或模型层利润正在走弱。 Silicon Data 表示，其 LLM Token Index 衡量的是样本中 API 用户每百万 Token 实际支付的价格，即「使用量加权价格」，并非 Token 使用量或总支出。该指数从 5 月 28 日的 2.07 美元降至 9 月 21 日的 1 美元，下降 52%，但今年 1 月至 5 月高点期间曾上涨 67%，因此价格变化本身不能直接作为 AI 行业景气度指标。 该机构指出，指数近期下跌主要反映更多任务被分配给廉价、快速的模型，同时 AI 实验室持续推出更多中端模型。由于 Token 并不能完全代表 AI 能力，该指标也无法单独区分模型替代与更高效的 Agent 路由。 相比之下，GPU 算力租赁市场仍显示需求强劲。Silicon Data 数据显示，非超大规模云厂商 H200 租赁价格从 6 月平均 2.87 美元升至目前 3.29 美元，9 月 19 日一度达到 3.32 美元；B200 目前为 5.76 美元，较同期上涨 7%，年初至今上涨 31%；B300 自 4 月底推出以来上涨 44%。 Silicon Data 认为，随着 Agent 大规模应用，未来绝大多数 Token 可能来自廉价、快速模型，因此 Token 价格可以持续下降，同时总 Token 使用量仍大幅增长。该机构表示，真正高价值的任务仍可能集中在前沿模型上，而 AI 全面普及意味着对算力的需求可能「更多，而不是更少」。
黄仁勋：CUDA可延长英伟达GPU经济使用寿命，使算力成为可融资资产
Odaily星球日报讯 英伟达 CEO 黄仁勋在 X 平台转发“CoreWeave 将英伟达 A100 GPU 租赁合同延续至 2029 年”的消息表示，2020 年推出的 A100 GPU 预计直到 2029 年仍可继续承担计算任务，英伟达的计算平台并不仅仅依赖芯片本身，CUDA 能够让开发者和英伟达工程师在 Ampere、Hopper 和 Blackwell 等架构的整个使用周期内持续进行升级和优化。 黄仁勋称，CUDA 提升了英伟达算力的通用性和不同代际计算资源的可替代性，从而提高 GPU 利用率并延长其经济使用寿命，使英伟达算力成为一种“可出租、耐用且可融资”的生产性资产。
FreeToken开源：一张5090跑DeepSeek-V4-Flash，最高25 Token/s
动察 Beating AI 快讯，伯克利、MIT 等研究者开源 FreeToken。这是一个专门为本地设备设计的 MoE（混合专家模型）推理引擎，主要解决超大模型显存装不下的问题。它会把部分权重放在系统内存，并让 CPU 和 GPU 一起参与推理。 FreeToken 会把模型的大量专家权重放在系统内存，只把一部分缓存在显存。遇到显存里没有的专家时，它会根据 PCIe 和 CPU 内存带宽，动态决定是把权重搬到 GPU，还是直接交给 CPU 计算。这样 CPU、GPU、系统内存和 PCIe 可以一起参与推理。 论文实测，一台配备 RTX 5090 的游戏台式机运行 284B 参数的 DeepSeek-V4-Flash，可以达到 22–25 Token/s。这款模型每生成一个 Token 实际只激活约 13B 参数，因此特别适合这种 CPU、GPU 混合推理。 FreeToken 还在 8GB 显存的 RTX 4060 笔记本上把 35B 模型跑到 39.3 Token/s；单张 96GB RTX PRO 6000 则可以运行 753B 参数的 GLM-5.2，速度达到 llama.cpp 的约两倍。项目目前支持超过 20 款 MoE 模型，并已采用 Apache 2.0 许可证开源。
Prime Intellect推理平台上线：内部每天已跑近1万亿Token
动察 Beating AI 快讯，Prime Intellect 发布开源模型推理服务 Prime Inference。 用户可以直接按需调用模型；如果任务需要长期稳定运行，也可以提前锁定一部分推理算力。接口兼容 OpenAI API，首个公开部署的模型是 GLM-5.3。 这套系统此前已经在 Prime Intellect 内部使用。官方称，它每天处理接近 1 万亿 tokens，用于强化学习、合成数据、模型评测和 Coding Agent。Prime Intellect 从今年 1 月起也一直在为客户运行大规模部署。 Prime Inference 重点优化 Agent 的长上下文负载。它把提示词处理和生成回复分到不同 GPU 上，测试中将 p90 token 间延迟降低近 40%。Prime Intellect 还压缩了 KV 缓存，相同显存下，每个解码器可缓存的 token 从 109 万增加到 163 万，提升约 50%。 Prime Intellect 此前已经提供强化学习、评测和沙箱等训练基础设施。加入推理服务后，它可以把模型训练和实际部署接到同一套平台里，实际运行产生的数据也可以继续用于后续训练。
英伟达：CoreWeave已将Vera Rubin NVL72投入生产 Cognition测试Token吞吐量提升4.8倍
火星财经消息,英伟达表示，AI云服务商CoreWeave已将英伟达Vera Rubin NVL72投入生产，并向客户提供相关云服务，AI软件公司Cognition成为首个在Vera Rubin上运行生产工作负载的客户。Cognition早期测试显示，Vera Rubin NVL72在实际软件工程AI推理任务中的总Token吞吐量最高达到英伟达GB200 NVL72的4.8倍。此外，CoreWeave测试显示，搭载英伟达Vera CPU的AI代理沙箱启动速度提升超过3倍。(财联社)
Databricks用AI横扫英伟达Kernel榜：235项测试四个赛道第一，Token花费约7万美元
动察 Beating AI 快讯，Databricks 团队称，他们把 GPT-6 Astra 和 Opus 5 放进自动优化循环，让模型持续重写、测试和改进 GPU kernel，最终在 NVIDIA SOL-ExecBench 的四个赛道全部排到第一。这个基准包含 235 个 GPU kernel 任务，覆盖基础算子、复杂融合算子、低精度计算和真实大模型推理。团队称，整个过程的模型 Token 花费约 7 万美元。 这套系统建立在 KDA 和 Humanize 之上，让 AI 自己写 kernel、跑正确性和性能测试，再根据结果不断修改。KDA 团队近期还把类似方法用在 Kimi Delta Attention 上，在 NVIDIA B300 上做到月之暗面官方 FlashKDA 的 2.96 倍速度。 两项成果属于同一套 Agent 内核优化体系的不同应用。Kimi 展示的是一个高难度注意力内核能被 AI 重写；Databricks 这次则把这种方法扩展到了数百个不同 kernel。