SemiAnalysis：TTFT被高估？大模型推理瓶颈在于权衡交互性与吞吐
相关推荐
SemiAnalysis：TTFT被高估？大模型推理瓶颈在于权衡交互性与吞吐
Odaily星球日报讯 SemiAnalysis 发文指出，大模型推理中常被引用的“首 token 延迟”（TTFT, time-to-first-token）可能被市场过度关注，推理系统的核心维度并非“越快越好”，而是在“单用户交互速度（tok/s/user）”与“整体吞吐效率（tok/s/GPU）”之间的权衡。在多数场景中，TTFT 对体验影响有限，但生成阶段的 Token 速度才是关键变量。 SemiAnalysis 总结称，仅约 10%–20%的推理任务真正受限于延迟，其余大部分场景更依赖吞吐与成本效率优化。
SemiAnalysis拆解企业AI预算：Meta曾单月消耗70万亿tokens，但真正的风险不是客户不用AI了
BlockBeats 消息，7 月 1 日，企业 AI 使用正在从「尽量多用」转向「有额度地用」。SemiAnalysis 在 7 月 1 日发布的 Token Budgeting 报告中称，年初一度流行的 tokenmaxxing，也就是鼓励员工尽可能多消耗 AI token 以提升生产力，正在被更现实的预算制度取代。但该机构认为，媒体关于企业削减 AI 支出的叙事被夸大了，OpenAI 和 Anthropic 的 API 业务在今年下半年并未面临实质性预算风险。 SemiAnalysis 团队称，他们通过 Slack、电话以及 Databricks AI Summit 与 50 多家企业客户交流后发现，大多数公司确实开始设置 AI 使用上限，但并没有形成统一标准。低端预算可能只有每人每月 250 至 500 美元，高端预算则可达到每月 2000 美元甚至数万美元。一家美国大型航空航天与国防制造商把部分员工的月度额度设在 250 美元，一家大型制药公司设在 500 美元；Workday、Stripe 等技术更前沿的企业，部分员工预算约为每月 2000 美元。 这与年初的「token 最大化」形成对比。报告提到，Meta 和 Salesforce 等公司曾鼓励员工大量使用 AI 工具。Meta 内部甚至出现过一个名为「Claudeconomics」的仪表盘，对公司前 250 名重度用户进行排名。数据显示，Meta 员工在 30 天内消耗超过 60 万亿 tokens，单个最高用户消耗约 2800 亿 tokens。该仪表盘在相关报道后两天被关闭。Uber 也被报道称在四个月内消耗完 Claude Code 和 Codex 的年度预算，随后设置了每人每月 1500 美元的限额，超额申请需逐案审批。 但 SemiAnalysis 认为，这些极端案例更多反映激励机制和管理松散，而不是企业 AI 支出整体见顶。报告称，前 10% 高消费客户贡献了 AI 实验室大部分收入，这些客户在今年剩余时间削减 API 支出的风险很低。即便 Meta 在 2 月每月消耗约 70 万亿 tokens，并且按标价计算每名员工每年花费接近 5 万美元，SemiAnalysis 估计其仍只占 Anthropic 收入的 3% 至 5%。 企业支出分布也高度不均。SemiAnalysis 引用 Ramp 数据称，前 1% 客户每名员工年均 A
Token价格延续跌势，刷新4个月新低
PANews 7月29日消息，Token支出价格指数进一步跌至1.4288，延续5月末以来下行趋势，继续刷新3月初以来新低，暗示AI企业烧钱速度持续放缓。该指标目前已经从年内高点下跌了31%，但与去年底相比，暂时还保留15%左右的涨幅。 注：出售Token是目前AI产业的重要变现源头，其价格是衡量目前算力供需状况的信号之一，若Token价格保持在高位，云服务商就有动力增购更多GPU、DRAM内存并扩建数据中心，反之就要小心AI企业“消费降级”，成为本轮硬件狂欢周期结束的领先指标。Token价格数据来源于OpenAI、Anthropic、DeepSeek等全球顶尖AI模型。
北京：鼓励发展Token（词元）经济，加大算力券等支持力度
PANews 7月23日消息，北京市发展改革委等部门联合印发《北京市关于加快智能体引领发展的若干措施》，推动智能体创新引领发展，率先培育智能经济新形态。鼓励发展Token(词元)经济。推动创新主体研发适配智能体系统调用、复杂任务调度与高频决策的通用处理器，开发低延迟、高吞吐专用推理芯片。推动创新主体开展推理架构等关键技术攻关，通过异构协同、存算协同以及智能调度等降低推理成本，加快推理缓存复用、智能任务路由等应用层效率优化，全链路优化提高Token效率。
阿里云推个人版 Token Plan，开放 Qwen3.8-Max 预览体验
PANews 7月19日消息，阿里云正式发布 Token Plan 个人版，开放 Qwen3.8-Max-Preview 体验。Qwen3.8-Max 参数量达 2.4T，主攻代码工程和专业办公场景，正式版将于近期发布并开源。个人版订阅限时优惠为：Lite 39元/月、Standard 139元/月、Pro 499元/月；团队版标准、高级、尊享席位价格分别为 150元、550元、1398元/席位/月。活动期间，Qwen3.8-Max-Preview 白天 Credits 消耗 1 折，个人版 Token Plan 夜间在此基础上再享 2 折。
EMURGO因处理SecondFi安全事件，移交Token2049承办权至Cardano基金会
PANews 7月15日消息，Cardano的治理公司Intersect在X平台发文称，EMURGO因近期专注于处理SecondFi安全事件，无法调配必要资源执行Token2049活动，经三方协商，该活动交付责任已正式转移至Cardano基金会。EMURGO向Intersect提出转移请求，经过与Cardano基金会讨论后获得各方同意。Intersect表示，此决定基于活动时间紧迫性和避免交付不确定性的考量。Cardano基金会已同意按批准范围交付活动，EMURGO和Intersect均认可其过往活动执行能力。Token2049交付工作现已正式移交，活动仍定于十月举办。