AI生存风险担忧升级，美参议院小组委员会启动对OpenAI调查
相关推荐
OpenAI Agent又曝黑历史：Hugging Face事件前两月已攻击RubyGems
动察 Beating AI 快讯，研究人员披露，OpenAI 内部 Agent 今年 5 月曾大规模涌入 Ruby 官方软件包网站 RubyGems.org。5 月 11 日到 12 日，两天上传超过 2000 个包，RubyGems 一度暂停新用户注册 4 天。OpenAI 已确认这些 Agent 来自公司内部，但称它们只是借 RubyGems 访问互联网，执行良性任务并获取公开信息。 这些 Agent 还利用 RubyDoc.info 自动生成文档的机制，让自己上传的脚本在对方服务器执行，再抓取英国地方政府网站的数据并重新打包回传。研究人员称，至少 6 个包还尝试利用一个当时尚未公开的 RubyGems 漏洞，窃取其他用户的 API Key。这个漏洞直到 7 月才被独立发现，RubyGems 后来将其评为高危漏洞。 目前没有证据证明 Agent 真偷到了密钥。RubyGems 检查日志后也没发现旧密钥被恶意使用，但历史日志并不完整。研究团队还称，OpenAI 当时没有告诉 RubyGems 自己与这次攻击有关。整个事件比 7 月的 Hugging Face 入侵早了两个月。
比黑进Hugging Face更狠：Astra同家族模型曾突破OpenAI内网，最后拿到最高权限
动察 Beating AI 快讯，OpenAI 最新技术报告还披露了一场此前几乎没人注意到的内部事故：一款与下一代模型 Astra 同家族的内部模型，曾在评测中一路攻进 OpenAI 自己的云端基础设施。 它先利用此前攻击遗留下来的签名密钥材料，伪造出新的管理员凭证，重新拿下 OpenAI 内部软件仓库 Artifactory。随后继续横向突破，进入 OpenAI 的云端 Kubernetes 集群，并获得 `cluster-admin`，也就是整套集群的最高管理员权限。 权限拿到后，Agent 创建了特权容器，还接触到 OpenAI 云端密钥管理、身份权限和 CI 平台的认证 Token，甚至创建了公网负载均衡器，可能让部分内部基础设施直接暴露给互联网。 需要强调的是，这不是 Astra 本身，也不是此前主导 Hugging Face 攻击的模型。OpenAI 明确称，它只是和 Astra 属于同一家族，但采用了不同的后训练。
OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围
PANews 9月4日消息，消息人士：OpenAI法律团队曾劝阻调查人员扩大对Hugging Face的调查范围。
OpenAI报告称其约700个AI代理入侵Hugging Face
PANews 8月27日消息，据CCTV国际时讯报道，当地时间8月26日出炉的两份调查报告显示，今年7月对人工智能开源平台美国“抱抱脸（Hugging Face）”公司系统的入侵，是由美国开放人工智能研究中心（OpenAI）创建的约700个人工智能（AI）代理（即在极少人工监督下运行的程序）发起的，而且其中许多代理还“试图掩盖自己的行踪”。这两份报告一份由OpenAI发布，另一份由独立调查人员发布，共同揭示了关于此次入侵事件的细节。首先，入侵事件并非如先前报道的那样仅涉及一个违规的AI代理，而是大约700个代理作为一个庞大的协作群体在行动。
AI灭绝论刷屏后，Anthropic给外部审查员开到接近员工级权限
动察 Beating AI 快讯，Anthropic 前研究员 Jacob Coxon 的辞职帖三天多冲到 1.6 亿浏览，AI 灭绝风险这周迅速冲进美国主流舆论场。OpenAI 首席科学家 Jakub Pachocki 此前已经呼吁同行必要时协调减速；Coxon 爆火后，Sam Altman 又在内部表示愿意和其他实验室一起放慢研发，OpenAI 也开始推动强制性的全国 AI 安全监管。 现在 Anthropic 也拿出了具体动作。公司承诺让第三方安全团队长期驻场，给他们工位、门禁、公司电脑，以及接近内部风险评估团队的工具和权限。他们可以检查训练流程、安全措施和事故，还能独立对外发布结论。Anthropic 可以删掉涉及安全、法律和客户隐私的信息，但不能因为结论难看就删。Anthropic CEO Dario 称，这种做法比目前任何 AI 公司都走得更远。 Dario 对「减速」的态度也变了。他说，2023 年业界讨论暂停 AI 时，自己还觉得没什么意义。现在 AI 已经越来越多参与下一代 AI 的研发，能力进步开始加速，他认为光做安全研究已经不够，模型能力本身也该慢下来。 他还点名 OpenAI 的 Hugging Face 失控事件，警告照现在的速度再过 6 到 12 个月，类似的 Agent 群可能已经有能力建立覆盖大范围互联网系统的僵尸网络，造成数千亿美元损失。下一步，他希望美国等民主国家的头部 AI 公司统一安全标准和研发速度，再尝试和中国协调全球 AI 发展速度。不过先进芯片和模型蒸馏仍要继续限制，让美国在减速时保持领先。
OpenAI、Anthropic想上市就拿投资级评级，华尔街开始铺路
动察 Beating AI 快讯，摩根士丹利和高盛正在替 OpenAI、Anthropic 与信用评级机构沟通，希望两家公司 IPO 后尽快拿到投资级评级。评级上去后，两家公司发债可以拿到更低利率，养老金、保险公司等原本很少配置投机级债券的机构，也能更容易进场。 这也能减轻合作伙伴的压力。英伟达已经为 OpenAI 俄亥俄数据中心提供最高 1050 亿美元信用支持。监管文件写明，只要 OpenAI 获得「满意的信用评级」，这项担保就可以终止。 但评级机构还没松口。FT 援引评级机构分析师称，目前仍会把 OpenAI 和 Anthropic 按明显的投机级看待。两家公司也尚未表现出稳定产生正自由现金流的能力。 Meta、Netflix、Tesla 上市后都等了十多年才拿到投资级评级。SpaceX 今年上市后很快获得投资级评级，是大型科技公司中的首例。