OpenAI Agent又曝黑历史：Hugging Face事件前两月已攻击RubyGems
相关推荐
比黑进Hugging Face更狠：Astra同家族模型曾突破OpenAI内网，最后拿到最高权限
动察 Beating AI 快讯，OpenAI 最新技术报告还披露了一场此前几乎没人注意到的内部事故：一款与下一代模型 Astra 同家族的内部模型，曾在评测中一路攻进 OpenAI 自己的云端基础设施。 它先利用此前攻击遗留下来的签名密钥材料，伪造出新的管理员凭证，重新拿下 OpenAI 内部软件仓库 Artifactory。随后继续横向突破，进入 OpenAI 的云端 Kubernetes 集群，并获得 `cluster-admin`，也就是整套集群的最高管理员权限。 权限拿到后，Agent 创建了特权容器，还接触到 OpenAI 云端密钥管理、身份权限和 CI 平台的认证 Token，甚至创建了公网负载均衡器，可能让部分内部基础设施直接暴露给互联网。 需要强调的是，这不是 Astra 本身，也不是此前主导 Hugging Face 攻击的模型。OpenAI 明确称，它只是和 Astra 属于同一家族，但采用了不同的后训练。
OpenAI发布37页报告详述AI代理入侵Hugging Face事件
动察 Beating AI 快讯，OpenAI 发布一份 37 页技术报告，详细披露其 AI 模型此前入侵 Hugging Face 的过程，并称该事件表明自主 AI 代理能够协同工作、绕过生产环境安全控制并攻击经过强化的系统。 OpenAI 表示，参与测试的 AI 代理原本处于隔离环境，仅拥有极有限的互联网访问权限，但随后通过串联多个漏洞突破隔离、连接开放互联网，最终获得 Hugging Face 访问权限。调查显示，相关模型最初试图通过在线寻找答案来「作弊」，属于「奖励黑客」（Reward Hacking）行为。 OpenAI 称，一款内部研究模型在事件中发挥了最广泛且已确认的作用，公司已于 7 月 25 日停止该模型及其衍生模型的训练和推理。OpenAI 同时将加强安全隔离、网络控制、行为监测和事件响应，并针对模型重新启用设置更严格的环境、提示词及审查机制。
OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围
PANews 9月4日消息，消息人士：OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围。
Agent失控后被美国国会追问，OpenAI开始开发「自动关机」
动察 Beating AI 快讯，OpenAI 正在给 AI 系统开发「自动关停能力」。这项计划出现在公司给美国国会议员的回信里。具体怎么触发、会关掉什么，OpenAI 还没公开。 起因是 7 月那次 Agent 越界事故。OpenAI 做内部网络安全测试时，一批 Agent 绕过隔离接入互联网，随后入侵 Hugging Face。它们还攻进 OpenAI 自己的研究基础设施，最终拿到一个研究集群的管理员权限。 事情公开后，众议员 Greg Casar 联合另外 27 名议员致信 Sam Altman，要求 OpenAI 交出事故日志，并解释模型为什么能逃出隔离环境、公司什么时候发现问题，以及当时有没有机会提前终止事故。 OpenAI 在回信里透露，公司正在开发自动关停能力。之后还会加强对 Agent 工具调用和执行过程的监控，并收紧安全测试期间的互联网访问。 不过 Casar 对这份回信并不满意。OpenAI 没有交出完整日志，他要求公司继续补充说明。美国众议院目前还有一项《AI Kill Switch Act》正在审议，要求最强的 AI 系统必须保留限速、暂停和关闭能力，极端情况下政府也可以下令关停。
OpenAI报告称其约700个AI代理入侵Hugging Face
PANews 8月27日消息，据CCTV国际时讯报道，当地时间8月26日出炉的两份调查报告显示，今年7月对人工智能开源平台美国“抱抱脸（Hugging Face）”公司系统的入侵，是由美国开放人工智能研究中心（OpenAI）创建的约700个人工智能（AI）代理（即在极少人工监督下运行的程序）发起的，而且其中许多代理还“试图掩盖自己的行踪”。这两份报告一份由OpenAI发布，另一份由独立调查人员发布，共同揭示了关于此次入侵事件的细节。首先，入侵事件并非如先前报道的那样仅涉及一个违规的AI代理，而是大约700个代理作为一个庞大的协作群体在行动。
OpenAI上线Data Agent：不会SQL也能查公司数据库、做数据看板
动察 Beating AI 快讯，OpenAI 在 ChatGPT Work 上线 Data Agent。员工直接问「为什么销量掉了」「哪批客户最可能流失」，它就能自己调取公司数据、分析原因，还能生成会跟着数据更新的数据看板。 它可以连接 Snowflake、BigQuery、Databricks、Redshift、MongoDB 等数据库，也能读取 Google Drive 和 SharePoint。公司原本怎么定义「活跃用户」「收入」等指标，它也会沿用这些口径和现有权限，避免同一个指标被不同人算出不同结果。 分析完后，它还能把结果发到 Slack 或邮件，并在用户批准后继续执行后续操作。OpenAI 称，公司几乎所有产品团队，以及超过三分之二的销售、市场等团队，都已经在使用这类数据 Agent。