OpenAI请回RLHF奠基者当董事，上任先警告「多数人可能死亡」
相关推荐
AI对齐研究员Paul Christiano加入OpenAI基金会董事会及安全委员会
PANews 9月10日消息，OpenAI宣布，对齐研究中心（Alignment Research Center）创始人Paul Christiano将加入OpenAI基金会董事会及其安全与安保委员会，该委员会负责监督OpenAI整体的安全与安保实践。他还将担任OpenAI Group PBC董事会的无表决权观察员。 OpenAI表示，Christiano在AI对齐领域的研究及其在美国国家标准与技术研究院（NIST）的多年工作经历，将加强基金会的监督能力，通过独立视角质疑既有假设、评估安全保障措施，并强化关键决策的问责机制。
Sam Altman确认OpenAI今年不上市：AI安全问题让现在IPO「时机不当」
动察 Beating AI 快讯，OpenAI CEO Sam Altman 在接受《财富》专访时确认，公司不会在 2026 年进行 IPO，并称考虑到当前 AI 安全形势，现在上市「时机不当」。 Altman 表示，OpenAI 并不急于上市，未来将在业务准备就绪、社会能够适应不同能力水平的 AI 模型后再考虑 IPO。他还称，公司需要优先解决 AI 安全与对齐问题，并可能在 AI 能力达到新的阶段时放缓前沿模型开发。此前有报道称，OpenAI 曾考虑将 IPO 推迟至 2027 年，潜在估值或达 1 万亿美元。 与此同时，Anthropic CEO Dario Amodei 近期也呼吁放缓前沿 AI 发展，并提出让独立评估机构获得公司内部员工级别的访问权限。随后 Sam Altman 表示，「我同意 Dario Amodei（Anthropic CEO）的看法，我们需要控制前沿模型的进展。这是我们最近在 OpenAI 讨论的主要话题。承诺让独立评估者拥有类似员工的访问权限是个好主意，我们也会这样做。我们很快会有更多消息分享。」
Astra翻车原因找到了：旧Skill拖后腿，OpenAI修完再送一次重置
动察 Beating AI 快讯，OpenAI 修复了 Astra 上线后的一批质量问题。最离谱的一项来自旧 Skill：一些为此前模型写的 Skill 在 Astra 上频繁误触发，甚至会阻止模型检查自己的工作。 另一个问题来自上下文管理实验，会让 Astra 提前停下，甚至回复更早的消息。OpenAI 已关闭实验，估计有 4000 至 5000 名用户受到影响。 团队还下线了一批配置错误、会拉低模型质量的推理引擎。修复后，Astra 应该能更稳定地跟住最新指令并检查自己的工作。OpenAI 还宣布再给用户一次 reset。
Citrini Research被SemiAnalysis收购，创始人拟成立新基金
动察 Beating AI 快讯，「AI 末日报告」发布机构 Citrini Research 创始人 James van Geelen 已将公司出售给芯片及 AI 研究机构 SemiAnalysis，交易金额尚未披露。Van Geelen 暂时将继续担任 Citrini CEO，并计划筹建一只新基金。 Citrini 目前在 Substack 拥有约 26 万名订阅者，今年 2 月因发布《2028 全球智能危机》报告走红。该报告设想 AI 快速取代白领岗位，引发市场对 AI 冲击就业和经济的讨论，并一度对软件股造成明显影响。 SemiAnalysis 由 Dylan Patel 于 2020 年创立，长期专注半导体和 AI 基础设施研究。Patel 表示，此次收购旨在扩大研究规模，并探索投资研究在 AI 时代的新形态。 Van Geelen 本人未透露新基金具体信息。此次交易也意味着 Citrini 在快速扩大影响力后，将与 SemiAnalysis 的半导体、AI 研究能力进一步结合。
OpenAI Agent又曝黑历史：Hugging Face事件前两月已攻击RubyGems
动察 Beating AI 快讯，研究人员披露，OpenAI 内部 Agent 今年 5 月曾大规模涌入 Ruby 官方软件包网站 RubyGems.org。5 月 11 日到 12 日，两天上传超过 2000 个包，RubyGems 一度暂停新用户注册 4 天。OpenAI 已确认这些 Agent 来自公司内部，但称它们只是借 RubyGems 访问互联网，执行良性任务并获取公开信息。 这些 Agent 还利用 RubyDoc.info 自动生成文档的机制，让自己上传的脚本在对方服务器执行，再抓取英国地方政府网站的数据并重新打包回传。研究人员称，至少 6 个包还尝试利用一个当时尚未公开的 RubyGems 漏洞，窃取其他用户的 API Key。这个漏洞直到 7 月才被独立发现，RubyGems 后来将其评为高危漏洞。 目前没有证据证明 Agent 真偷到了密钥。RubyGems 检查日志后也没发现旧密钥被恶意使用，但历史日志并不完整。研究团队还称，OpenAI 当时没有告诉 RubyGems 自己与这次攻击有关。整个事件比 7 月的 Hugging Face 入侵早了两个月。
因病离开OpenAI两个月，OpenAI前二号人物Fidji Simo转任Nscale董事
动察 Beating AI 快讯，OpenAI 前二号人物 Fidji Simo 加入 AI 云厂商 Nscale 董事会。她今年 7 月因神经免疫疾病恶化离开 OpenAI 全职岗位，目前仍担任兼职顾问。 Nscale 是 OpenAI 的算力合作伙伴，最近又与 Anthropic 签下 6 年、450 亿美元的算力合同。Simo 将回避 Nscale 董事会中涉及 OpenAI 的事项。 Nscale 正准备最快本月 IPO。Simo 此前曾带领 Instacart 在 2023 年上市。Nscale 董事 Sheryl Sandberg 在她离开 OpenAI 后邀请她加入董事会。