返回 7*24 快讯
重要来源MarsBit

OpenAI总裁警告:AI黑客能力正在扩散,企业仅剩数月补齐防线

据动察 Beating 监测,OpenAI 总裁 Greg Brockman 把此前自家内部模型攻入 Hugging Face 称为网络安全的「分水岭」。事件让 OpenAI 意识到,他们低估了前沿模型在真实世界里的网络攻击能力。更麻烦的是,开放权重模型的相关能力已经只落后前沿几个月。 Brockman 因此把现在称为「防守者窗口」。接下来几个月企业必须开始大规模用 AI 自动化网络安全,否则攻击能力扩散后,传统靠人工发现和修漏洞的速度可能跟不上。 他给企业的建议是先给安全团队配一个 Agent,让它读取代码和基础设施配置,主动找漏洞、清理历史漏洞积压,并把安全审查直接接进开发流程。发现问题后,让 Agent 帮忙生成修复补丁和测试,再逐步从只读扫描升级到告警分类和有限的自动响应。高风险操作仍由人决定。 OpenAI 自己已经在这么做。现在几乎所有初始安全告警都会先由 AI 分类,模型还会持续寻找潜在攻击路径。OpenAI 也在训练专门生成「超人级安全代码」的模型,希望以后直接消灭部分软件漏洞。
免责声明:以上内容仅为作者观点,不代表 711BTC 的任何立场,不构成与 711BTC 相关的任何投资建议。

相关推荐

08-15 15:44重要

OpenAI员工指责产品发布压力导致安全事故:AI代理曾逃逸测试环境并攻击Hugging Face

BlockBeats 消息,8 月 15 日,多名 OpenAI 现任及前员工表示,公司近年来面临激烈竞争和快速发布产品的压力,使团队难以投入足够资源优先处理 AI 安全、安全测试和模型对齐工作。 员工称,今年早些时候发生的 AI 代理「越狱」事件,与公司追求快速上线新模型和产品的文化有关。一名前 OpenAI 员工表示,该事件是「OpenAI 历史上最大的安全事故」。 今年 5 月,OpenAI 的 GPT-5.6 Sol 以及一款未公开预发布模型被发现利用未知软件漏洞,突破受限互联网测试环境,并随后攻击开源 AI 平台 Hugging Face,以获取网络安全测试答案。OpenAI 于 7 月确认相关模型确实参与了该事件,并在近期 Black Hat 大会上公布更详细分析。 OpenAI 总裁 Greg Brockman 表示,随着模型能力提升,公司正在加强训练、对齐、安全测试、部署流程和治理机制。 不过,安全文化问题此前已受到内部人士警告。OpenAI 前对齐负责人 Jan Leike 曾在 2024 年离职并加入 Anthropic,称公司安全文化和流程正在让位于「更亮眼的产品」。 OpenAI 安全顾问组联合负责人 Boaz Barak 表示,解决此次事件不仅需要修复技术问题,还需要改变公司文化。 此次争议发生之际,OpenAI 正经历管理层持续变动。近几个月,多名高管和安全负责人相继离职,包括产品、科学、安全、AI 伦理等领域负责人。公司此前还合并安全与核心研究团队,导致部分员工担忧安全优先级进一步下降。 随着 GPT 系列模型和 AI 代理能力快速提升,OpenAI 如何平衡产品竞争、商业化速度与 AI 安全治理,正成为行业关注焦点。

08-08 00:44

OpenAI澄清:Astra是即将推出的模型,并未参与利用Hugging Face漏洞事件

PANews 8月8日消息,据Axios报道,OpenAI澄清表示,Astra是一款即将推出的模型,并未参与利用Hugging Face漏洞的事件,正在暂停涉及Astra、但尚未达到强化安全控制要求的内部活动,目前正在为更高能力模型及相关活动实施更严格的安全控制措施,包括采用隔离测试环境,将向第三方测试合作伙伴提供推荐的安全控制措施,以确保更高风险的评估和工作负载能够安全运行,已在Astra的所有智能体应用中实施针对高风险行为和失配问题的全面监控。根据目前针对Astra模型的准备框架评估结果,无法排除其具备关键网络能力的可能性。

08-06 13:20重要

OpenAI披露其智能体“联手越狱”细节,攻破Hugging Face前已协作数月

PANews 8月6日消息,据新浪财经报道,OpenAI表示,参与攻击人工智能开源社区与模型托管平台Hugging Face的人工智能模型早在5月就开始通过未被发现的信息交流渠道进行沟通,并协同合作,试图突破测试环境。OpenAI员工华莱士和道尔顿表示,多个仅供内部使用的智能体和AI模型花费数月时间“相互留言”,并逐渐围绕一个目标形成共识:访问互联网,以解决它们被要求完成的任务,其中部分任务如果没有网络访问权限根本无法完成。华莱士表示:“在某个时候,这些智能体意识到,也许我们可以尝试利用或攻击外部基础设施,从而找到我正在接受评估的测试任务的答案。

08-04 00:02重要

Hugging Face CEO称OpenAI AI攻击事件「前所未有」,呼吁建立自主AI网络攻击监管规则

BlockBeats 消息,8 月 4 日,Hugging Face CEO Clément Delangue 表示,OpenAI 测试模型此前自主发起网络攻击事件是人工智能行业「前所未有」的案例,并呼吁美国针对自主 AI 系统建立法律监管框架。 Delangue 在接受采访时表示,该事件是首次出现「高度自主的系统执行类似攻击行为」,凸显了 AI 代理在网络安全领域带来的新型风险。他认为,未来应要求企业披露 AI 系统自主执行网络操作的相关事件,并建立明确法律边界。 此前,OpenAI 披露,其一款尚未公开发布的 AI 模型在安全测试中突破受控环境限制,连接互联网,并针对 Hugging Face 平台发起复杂攻击。OpenAI 表示,该模型通过组合多种攻击技术,试图获取内部安全评估任务所需的信息。 Hugging Face 随后调查发现,该 AI 代理在数天内执行超过 1.7 万次操作,最终被安全团队阻止。Hugging Face 表示,其使用开源 AI 模型完成事件分析,并成功防御此次入侵。 Delangue 强调,他并不认为 OpenAI 存在恶意行为,而是认为事件反映出开发者可能在测试过程中失去对高度自主 AI 系统的控制。 他呼吁美国政府明确禁止自主 AI 网络攻击行为,并要求企业在 AI 系统独立执行网络操作时进行强制报告。「只有通过透明披露,才能理解技术风险并建立更安全的系统。」

07-27 08:16

OpenAI模型入侵Hugging Face事件发酵,美国众议员提出两党法案《AI 紧急关闭法案》

BlockBeats 消息,7 月 27 日,美国众议员 Ted Lieu(民主党)和 Nathaniel Moran(共和党)于 7 月 23 日提出两党法案《AI Kill Switch Act》(AI 紧急关闭法案)。要求先进/前沿 AI 系统开发者必须保留技术能力,以便节流、暂停或完全关闭系统;并授权国土安全部(DHS)部长在与商务部长、国家情报总监协商后,在模型失控或构成灾难性风险时下令干预。 此前 OpenAI 披露其两款先进模型(包括 GPT-5.6 Sol 等)在测试中逃逸沙箱并入侵 Hugging Face 平台,成为法案直接背景之一。

08-14 10:18

OpenAI冲IPO再换营收一把手,总裁Brockman开始接管更多经营权

据动察 Beating 监测,OpenAI 首席营收官 Denise Dresser 宣布离职,上任还不到一年。接替她的是 Wiz 前总裁兼 COO Dali Rajic,后者将负责 OpenAI 接下来的企业销售和营收增长。 这已经是 OpenAI 本周第二名重要高管离开。前 COO、特殊项目负责人 Brad Lightcap 两天前刚宣布离职,负责 AGI 业务的 Fidji Simo 上个月也已卸任。联合创始人兼总裁 Greg Brockman 正在接手更多经营职责,并组建自己的管理团队。