SGLang给普通大模型加上Jev式决策模式,不微调也能直接做选择
相关推荐
阿里巴巴发布 Qwen4-Max,API 价格较上代下调 25%
火星财经消息,阿里巴巴发布新一代大模型 Qwen4-Max,并同步下调 API 价格。据 The Defiant 报道,Qwen4-Max 在新加坡的输入与输出列表价格较上一代 Qwen3.8-Max 下降 25%。此次发布同时将 Qwen4-Max 的访问权限从此前的订阅制预览扩展至更广泛的用户。阿里巴巴表示,后续还将推出体积更小的开放权重模型。
谷歌推出Gemini Decisions API,每百万输入token收费0.10美元
谷歌推出了GeminiDecisionsAPI,这是一个由其Gemini Decision1模型驱动的新端点,可帮助AI智能体做出快速的预设决策,而无需生成冗长的文本回复。该接口允许开发人员针对包含文本、图像、音频、视频和PDF的共享多模态输入,评估多达1000个独立问题。Gemini Decision1不会逐token生成回复,而是在单次前向传递中对预设选项进行评分,返回概率和置信度分数,端到端延迟为150–250毫秒。谷歌表示,开发人员可以在一次API调用中提交“是或否”检查、最多包含255个选项的多选题,或基于预设评分标准的打分请求。(新浪财经)
DGrid Model Marketplace 日处理超 600 亿 Token,API 日调用量超 200 万次
火星财经消息,去中心化 AI 基础设施项目 DGrid AI 宣布,旗下 Model Marketplace(模型市场)目前每日处理超 600 亿 Token,API 日调用量超 200 万次;平台已上线 200 余款模型,DGrid Gateway 接入的模型提供商数量也已从今年早些时候的 30 余家增至 100 余家。DGrid AI 表示,接下来将围绕模型发现、集成体验和推理性能持续优化,帮助开发者提升从 API 接入到产品上线的效率,助力模型提供商触达更多用户,并进一步推动形成更开放、更活跃的模型生态。
OpenAI 全面开放决策 API,输入百万 token 0.1 美元
火星财经消息,当地时间 10 月 22 日,OpenAI 宣布全面开放决策 API。该 API 基于 GPT-6 Luna,面向具有限定答案的问题,协助应用与智能体根据文本、图像及结构化输入做准实时决策。IT之家称,其响应速度比通过 Responses API 调用 GPT-6 Luna 最高快 10 倍。定价方面,输入每百万 token 为 0.1 美元,页面按当时汇率注约合 0.67 元人民币;缓存命中输入每百万 token 为 0.01 美元,约合 0.067 元人民币。该 API 仅按输入 token 计费,输出 token 免费。页面称,OpenAI 内部已将该 API 用于产品和业务工作流。公测后新增内容包括原生 GPT-Live 集成、针对复用上下文的 Prompt 缓存,以及美国和欧盟的推理数据驻留。开发者可传入原生 JSON,并在问题指令中包含图像,单次请求最多提交 400 个问题,为此前上限的两倍。页面还称,OpenAI 持续优化延迟,并在亚洲多个地区扩充容量。
AWS、Cloudflare、Databricks都跟进Jev,决策模型快成标配了
动察 Beating AI 快讯,Jev 发布后,AWS、Cloudflare 和 Databricks 最近都跟进了决策模型。 AWS 推出开源的 Strands Decider 2B。它基于 Qwen3.5-2B,去掉文本生成模块,换成专门负责选答案的决策模块,再用 LoRA 微调。官方测试中,它在 RTX 3090 上单次决策中位延迟约 115ms,完整训练约 11 小时。 Cloudflare 一口气发布 Clef 和 Clef-flash,分别基于 Qwen3.8-27B 和 Qwen3.5-9B 改造,并全部开源。在 Cloudflare 对 Jev 官方评测集的测试中,Clef 系列在 4 类任务中的 3 类超过 Jev;Clef-flash 的中位延迟为 38.8ms,Jev 为 524.1ms。 Databricks 则把这套能力直接做进了平台。新上线的 ai_decide 可以在 SQL 或 REST API 中调用,对数据做分类、打分和 Agent 路由,接口还直接兼容 TypeSafe AI API。官方称一次决策可以在不到一秒内返回。 从开发者自己复刻,到 AWS、Cloudflare、Databricks 跟进,决策模型正在迅速从一个新概念变成 Agent 基础设施里的常见组件。
Qwen4-Max正式登陆B.AI,全计费项享9折专属优惠
Odaily星球日报讯 11 月 16 日,B.AI 平台宣布阿里 Qwen4 系列首款旗舰模型 Qwen4-Max 正式上线,API 与 Web Chat 双端同步开放。该模型融合深度推理、原生多模态理解与长任务执行能力,原生支持文本、图像及最长 2 小时视频输入,配备 1M Token 超大上下文窗口与三档可调推理强度,可覆盖全栈软件工程开发、多步骤 Agent 自动化工作流、海量视觉文档审阅及科研探索等复杂场景。B.AI 专属用户可享全计费项 9 折优惠,输入低至 $1.35/1M Tokens。