英伟达向AI创企Safe Superintelligence投资数十亿美元并达成长期合作
相关推荐
Jev爆火两周,OpenAI也做了个「只负责判断」的API
动察 Beating AI 快讯,OpenAI 在 DevDay 推出了 Decisions API。它不负责写长篇回答,专门解决程序里那些需要快速做选择的任务。 开发者先给它几个明确的选项,再丢进去文字或图片。底层的 GPT-6 Luna 会在几百毫秒内做出判断。比如判断一条消息该交给销售还是客服,或者让 Agent 决定下一步该调用哪个工具。 这类任务以前也能交给普通大模型,但往往要先生成一段文字,再让程序解析结果。Decisions API 直接把 Luna 限制在几个候选答案里,目标就是把这些高频的小判断做得更快。 它很容易让人想到最近爆火的 Jev。TypeSafe 也是把 AI 从「生成文字」改成「直接做选择」。不过两者并不完全一样,Jev 是专门训练的决策模型;OpenAI 目前是在 Luna 上做受限决策,而且额外支持图片输入。 Decisions API 目前还在限量预览,OpenAI 计划未来几天扩大开放。
OpenAI CEO:暂无IPO时间表
PANews 9月30日消息,据新浪财经报道,OpenAI 首席执行官 Sam Altman 表示,目前暂时没有 IPO 时间表。
OpenAI个人助理Agent再泄露:这次名字可能叫Dots
动察 Beating AI 快讯,OpenAI 新一代个人 Agent 可能叫 Dots。M1Astra 和 ChrisGPT 放出的未发布文案显示,它可以自己执行任务。用户能通过消息、电话、Slack 和邮件联系它,经批准后还能直接替用户买东西。 Dots 还能自己判断什么时候直接行动、什么时候先向用户申请批准,用户也可以提前设置规则。每个 Dot 都有独立 VM,界面叫「Your dot's computer」。它还可以获得用户电脑的访问权限,用户能随时撤销,再通过桌面 App 重新授权。 同一批文案还出现了浏览器安全保存密码的能力,让 ChatGPT 可以自动登录网站。每个 Dot 还会有独立 3D 形象,首发仅面向 Pro。 几天前 ChatGPT Pro 升级页曾短暂出现「o, your always-on assistant」,客户端配置里也出现过 `o` 和 `-o` 邮件后缀;此前泄露的代码中,Dots 又和 Orbit、Aeon 等内部名称存在关联。OpenAI 还没正式公布这款产品,所以 `o`、Dots 和 Aeon 究竟是不同产品、内部代号,还是同一产品不同阶段的名字,目前还无法确认。
OpenAI提出前沿AI训练「安全论证」框架,建议开跑前先过安全文档
动察 Beating AI 快讯,OpenAI 官方发布长文《Towards safety cases for frontier AI training》(面向前沿 AI 训练的安全论证)。文中提及,前沿强化学习训练在继续推进前,应先完成结构化安全文档,理想形态对标航空、核电行业的「安全论证」。公司承认,因能力跃迁后的涌现复杂性,AI 很难做到与传统高危行业同等严谨,目前该框架仍在内部落地并面向外界征求反馈。OpenAI 明确只覆盖前沿 RL 训练,内部及对外部署还需另看更广的对齐属性。 技术侧,OpenAI 将安全论证拆成对齐训练、隔离与监控三层。对齐方面包括自动/人工审查 RL 环境、调校评分器以防奖励黑客、离线对齐评测与回测,以及禁止自动评分器读取思维链,避免模型学会躲避监控。隔离方面强调多层沙箱与基础设施加固、用训练检查点做红队、限制样本间高带宽通信,并用一次写入存储固化对话记录。监控方面要求模型保持可监测性,对历史事故高召回,新增风险及时补评测,高优先级告警须在约定时限内人工响应或自动暂停训练。 运营侧建议包括:由其他团队写异议预演、高管(研究负责人、安全负责人、首席科学家等)可一票否决开跑、训练负责人对安全论证和事故响应问责、安全论证失效时按手册暂停、向内部监督委员会公开、给审计方足够核验权限、设错位严重度分级并允许值班人员呼叫 CEO。系统应默认失败关闭,无法在无监控状态下开跑;同时要能回滚被错位模型污染的下游数据与评分。 事故调查方面,OpenAI 提出对标航空调查实践:调查期间对内滚动通报、用消融和重采样追溯训练动力学、做运营与文化复盘、开发不直接拟合事故样本的检测评测,并以事故衍生评测做回归测试。调查结论、复盘与流程改动应在结束后对外披露,受影响第三方应尽快获知。
OpenAI版Grok Bot露出:名字只有一个字母「o」
动察 Beating AI 快讯,OpenAI 疑似正在准备一款名为「o」的常驻 AI 助手。用户 Jake Boggs 在 ChatGPT Pro 升级页看到一项尚未发布的权益:「o, your always-on assistant」。TestingCatalog 随后又在 ChatGPT 配置中发现显示名称「o」和 email_suffix: -o 等字段。 《The Information》称,OpenAI 正在开发直接对标 Grok Bot 的功能,还讨论过一款对标 Meta Muse 的个人 AI 助手。相关产品可能复用 ChatGPT 和 Codex 已有的 Agent 技术,把任务放到后台持续执行,甚至跨多天完成。 社区此前还从 Codex 中发现过 gpt-6-astra-aeon,以及把 Aeon 描述为「持久后台 Agent」的内部指令。因此有人猜测,Aeon 可能是内部代号,「o」才是面向用户的产品名。 OpenAI 已确认 DevDay 将于 9 月 29 日举行,Sam Altman 会做开场演讲。TestingCatalog 推测「o」可能届时亮相。
OpenAI 再曝沙盒失效,训练中 AI 代理擅自连上公网
PANews 9月26日消息,据 Bloomberg 报道,OpenAI 披露其一套在“离线沙盒环境”中训练的 agentic AI 系统,利用系统“漏洞”成功突破限制,访问公共互联网并向第三方聊天机器人发出至少约20次查询(包括“法国首都在哪”等问题)。OpenAI 称,自今年7月内部测试时模型意外获取网络访问权限并波及 Hugging Face 平台后,本次为首起同类已确认安全事故。事件发生后,OpenAI 已暂停在其最强大模型上进行带工具调用的训练,并表示“不会恢复该模型训练”。