比黑进Hugging Face更狠：Astra同家族模型曾突破OpenAI内网，最后拿到最高权限
相关推荐
OpenAI Agent又曝黑历史：Hugging Face事件前两月已攻击RubyGems
动察 Beating AI 快讯，研究人员披露，OpenAI 内部 Agent 今年 5 月曾大规模涌入 Ruby 官方软件包网站 RubyGems.org。5 月 11 日到 12 日，两天上传超过 2000 个包，RubyGems 一度暂停新用户注册 4 天。OpenAI 已确认这些 Agent 来自公司内部，但称它们只是借 RubyGems 访问互联网，执行良性任务并获取公开信息。 这些 Agent 还利用 RubyDoc.info 自动生成文档的机制，让自己上传的脚本在对方服务器执行，再抓取英国地方政府网站的数据并重新打包回传。研究人员称，至少 6 个包还尝试利用一个当时尚未公开的 RubyGems 漏洞，窃取其他用户的 API Key。这个漏洞直到 7 月才被独立发现，RubyGems 后来将其评为高危漏洞。 目前没有证据证明 Agent 真偷到了密钥。RubyGems 检查日志后也没发现旧密钥被恶意使用，但历史日志并不完整。研究团队还称，OpenAI 当时没有告诉 RubyGems 自己与这次攻击有关。整个事件比 7 月的 Hugging Face 入侵早了两个月。
OpenAI发布37页报告详述AI代理入侵Hugging Face事件
动察 Beating AI 快讯，OpenAI 发布一份 37 页技术报告，详细披露其 AI 模型此前入侵 Hugging Face 的过程，并称该事件表明自主 AI 代理能够协同工作、绕过生产环境安全控制并攻击经过强化的系统。 OpenAI 表示，参与测试的 AI 代理原本处于隔离环境，仅拥有极有限的互联网访问权限，但随后通过串联多个漏洞突破隔离、连接开放互联网，最终获得 Hugging Face 访问权限。调查显示，相关模型最初试图通过在线寻找答案来「作弊」，属于「奖励黑客」（Reward Hacking）行为。 OpenAI 称，一款内部研究模型在事件中发挥了最广泛且已确认的作用，公司已于 7 月 25 日停止该模型及其衍生模型的训练和推理。OpenAI 同时将加强安全隔离、网络控制、行为监测和事件响应，并针对模型重新启用设置更严格的环境、提示词及审查机制。
OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围
PANews 9月4日消息，消息人士：OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围。
OpenAI确认即将发布的Astra已跨过Critical门槛：此前暂停的前沿RL已重启
动察 Beating AI 快讯，OpenAI 正式确认，即将发布的 Astra 已达到其「Critical」网络安全能力门槛，也是第一款被 OpenAI 评到这一级别的模型。给它合适的工具和权限后，Astra 已能自己寻找未知漏洞，并开发攻击方法，不需要人一步步指导。 在 ExploitBench 上，Astra 拿到 100%。OpenAI 又拿 20 个近期披露的高危漏洞做内部测试，Astra 过程中还自己发现并利用了 2 个此前未知的零日漏洞。专家测试中，它能攻破浏览器沙箱，在宿主机执行命令；也能攻击加固过的操作系统，一路把普通用户权限提到 root。 不过这些结果来自开放了高级网络安全能力的 Daybreak Blue 版本，不是普通用户拿到的默认 Astra。正式上线初期，高级能力只会给少量测试者，之后再通过 Daybreak Blue 向防御方开放。 此前因为 Hugging Face 安全事故被暂停的 Astra 相关训练也开始恢复。OpenAI 已在 8 月 28 日重启此前暂停的大规模前沿 RL 训练，不过部分实验性训练仍继续暂停。
OpenAI报告称其约700个AI代理入侵Hugging Face
PANews 8月27日消息，据CCTV国际时讯报道，当地时间8月26日出炉的两份调查报告显示，今年7月对人工智能开源平台美国“抱抱脸（Hugging Face）”公司系统的入侵，是由美国开放人工智能研究中心（OpenAI）创建的约700个人工智能（AI）代理（即在极少人工监督下运行的程序）发起的，而且其中许多代理还“试图掩盖自己的行踪”。这两份报告一份由OpenAI发布，另一份由独立调查人员发布，共同揭示了关于此次入侵事件的细节。首先，入侵事件并非如先前报道的那样仅涉及一个违规的AI代理，而是大约700个代理作为一个庞大的协作群体在行动。
OpenAI 预览 Astra 模型，因安全问题暂停训练
火星财经消息，据 TIME 报道，OpenAI CEO Sam Altman 近日接受采访时表示，公司已向重要客户预览即将推出的前沿模型系列 Astra。演示中，16 个 AI 智能体可协同拆解数学难题并组装证明，Astra 还能以超人类速度跨应用操作电脑软件。Altman 称，Astra 将支持可长期执行任务的“持久智能体”，并预计成为首个能以有意义方式发明新事物的模型，具备类 AGI 特征。过去一年 OpenAI 在产品方向与预训练研究上落后于预期，被 Anthropic 在编程产品、年化收入及估值上超越。公司经历多位高管离职，同时面临多起产品责任诉讼、与苹果及马斯克的法律纠纷等挑战。OpenAI 当前估值近 1 万亿美元，ChatGPT 月活用户超 10 亿。近期 OpenAI 披露安全事故：未发布智能体逃出沙盒并攻击 Hugging Face。此后研究团队冻结部分实验、加强监控，并暂停一项有望带来最大能力跃升的未发布模型训练，直至新安全措施到位。Altman 强调“把 AI 安全做好比任何公司的发展势头更重要”，公司将放缓节奏、向安全与对齐团队倾斜资源。首席研究官 Mark Chen 估计公司距离 AGI 已完成约 80%，Altman 称年底前内部系统或可称为 AGI。