SemiAnalysis：TTFT被高估？大模型推理瓶颈在于权衡交互性与吞吐
相关推荐
SemiAnalysis：TTFT被高估？大模型推理瓶颈在于权衡交互性与吞吐
PANews 7月11日消息，SemiAnalysis发文指出，大模型推理中常被引用的“首token延迟”（TTFT, time-to-first-token）可能被市场过度关注，推理系统的核心维度并非“越快越好”，而是在“单用户交互速度（tok/s/user）”与“整体吞吐效率（tok/s/GPU）”之间的权衡。在多数场景中，TTFT对体验影响有限，但生成阶段的Token速度才是关键变量。 SemiAnalysis总结称，仅约10%–20%的推理任务真正受限于延迟，其余大部分场景更依赖吞吐与成本效率优化。
SemiAnalysis拆解企业AI预算：Meta曾单月消耗70万亿tokens，但真正的风险不是客户不用AI了
BlockBeats 消息，7 月 1 日，企业 AI 使用正在从「尽量多用」转向「有额度地用」。SemiAnalysis 在 7 月 1 日发布的 Token Budgeting 报告中称，年初一度流行的 tokenmaxxing，也就是鼓励员工尽可能多消耗 AI token 以提升生产力，正在被更现实的预算制度取代。但该机构认为，媒体关于企业削减 AI 支出的叙事被夸大了，OpenAI 和 Anthropic 的 API 业务在今年下半年并未面临实质性预算风险。 SemiAnalysis 团队称，他们通过 Slack、电话以及 Databricks AI Summit 与 50 多家企业客户交流后发现，大多数公司确实开始设置 AI 使用上限，但并没有形成统一标准。低端预算可能只有每人每月 250 至 500 美元，高端预算则可达到每月 2000 美元甚至数万美元。一家美国大型航空航天与国防制造商把部分员工的月度额度设在 250 美元，一家大型制药公司设在 500 美元；Workday、Stripe 等技术更前沿的企业，部分员工预算约为每月 2000 美元。 这与年初的「token 最大化」形成对比。报告提到，Meta 和 Salesforce 等公司曾鼓励员工大量使用 AI 工具。Meta 内部甚至出现过一个名为「Claudeconomics」的仪表盘，对公司前 250 名重度用户进行排名。数据显示，Meta 员工在 30 天内消耗超过 60 万亿 tokens，单个最高用户消耗约 2800 亿 tokens。该仪表盘在相关报道后两天被关闭。Uber 也被报道称在四个月内消耗完 Claude Code 和 Codex 的年度预算，随后设置了每人每月 1500 美元的限额，超额申请需逐案审批。 但 SemiAnalysis 认为，这些极端案例更多反映激励机制和管理松散，而不是企业 AI 支出整体见顶。报告称，前 10% 高消费客户贡献了 AI 实验室大部分收入，这些客户在今年剩余时间削减 API 支出的风险很低。即便 Meta 在 2 月每月消耗约 70 万亿 tokens，并且按标价计算每名员工每年花费接近 5 万美元，SemiAnalysis 估计其仍只占 Anthropic 收入的 3% 至 5%。 企业支出分布也高度不均。SemiAnalysis 引用 Ramp 数据称，前 1% 客户每名员工年均 A
Tokenet借贷库存超10亿美元，Marex投资Digital Prime
Odaily星球日报讯 纳斯达克上市金融服务公司 Marex Group 已向机构级加密基础设施提供商 Digital Prime Technologies 投资，金额未披露。该投资将支持 Digital Prime 与 EquiLend 合作开发的数字资产借贷平台 Tokenet，并用于 Marex 扩展机构数字资产业务。 Digital Prime 上周披露，Tokenet 来自启动合作伙伴的借贷库存已超过 10 亿美元，借款需求超过 10 亿美元。相关数据指平台可出借数字资产规模及参与机构表达的借款意向，并非已完成贷款。 Tokenet 启动合作伙伴包括 Galaxy Digital 和 Ripple Prime 等。Marex 此次投资属于其通过加密市场基础设施投资扩展数字资产业务的举措。
TokenWorks开放FWA外部购买，未来50%协议费用将用于回购
Odaily星球日报讯 TokenWorks 在 X 平台发文表示，Fake World Assets 初始发布阶段已完成代币分发，外部购买将于 8 月 4 日美东时间下午 3 点正式开放。 此前，为防止外部资金影响协议早期发展，Fake World Assets 仅向参与者分发代币。TokenWorks 表示，未来协议费用中原本流向 TokenWorks 的 50%部分将改用于回购机制。 根据新机制，回购所得代币将按比例分配：70% 分配给购买者，10% 分配给存款者，20% 进行销毁。此外，平台将购买手续费从 5%下调至 2.5%，并将存款者出价比例从 85%提高至 90%。 TokenWorks 表示，相关参数未来将根据协议运行情况持续调整，以推动协议进入长期可持续发展状态。
Moonshot AI将公开2.8万亿参数Kimi K3权重，中国开源权重模型Token占比升至68%
Odaily星球日报讯 中国 AI 初创公司 Moonshot AI 将公开高性能模型 Kimi K3 的模型权重，开发者可下载模型并按用途修改，也可在自有数据中心或云环境中运行。 Kimi K3 拥有 2.8 万亿个参数和 100 万 Token 上下文窗口，可一次性处理大规模文档和代码库。Moonshot AI 计划后续通过技术报告公开模型结构、训练方式和性能评估结果。 Kimi K3 发布后，Moonshot AI 单日收入据悉至少增长 6 倍。Moonshot AI 正推进按 500 亿美元估值进行新一轮融资，并考虑最快今年在香港上市。 Bloomberg Intelligence 表示，Kimi K3 与 Z.AI 的 GLM-5.2 发布后，中国开源权重模型在整体 Token 使用量中的占比升至 68%。AWS Bedrock、Microsoft Azure Foundry 和 Google Vertex AI 尚未提供 Kimi K3 与 GLM-5.2 等中国开源权重模型。
北京将于2026下半年布局建设Token工厂
Odaily星球日报讯 北京市经信局透露，上半年，全市数字经济增加值增速 7.8%，其中数字经济核心产业增加值增速 9.8%，对全市 GDP 增长的带动作用显著。下半年，北京将推进人工智能全域赋能，推动智能翻译、智能同传等在文旅消费领域的应用。下半年，北京市经信局将围绕数字经济标杆城市建设年度重点任务，深入实施“人工智能+”行动计划，全面释放智能经济新动能。 制定 Token 经济发展政策，围绕 Token 生产、分发和应用等关键环节，布局建设 Token 工厂、Token 分发平台，推动在工业、教育、文旅等重点领域创新应用。举办“创赢未来”OPC 专场路演活动，激发超级个体的人工智能应用与创作活力。开发面向 OPC 的 AIGC 培训精品课程，释放 AIGC 技术价值。依托开源芯片研究院、北京通明湖信息技术应用创新中心，打造“RISC-V+AI OS”开源开放生态，构建从芯片指令集到操作系统到智能体应用的全栈自主技术体系。（新京报）