Palantir CEO:企业对OpenAI、Anthropic等「前沿实验室」不满,后者只追求token最大化
相关推荐
Palantir CEO:AI 公司应为自身行为承担法律责任
PANews 9月18日消息,据彭博社报道,Palantir CEO Alex Karp 在接受 CNBC 采访时表示,开发和部署 AI 系统的公司应对其技术带来的后果自行负责,而不应仅依赖政府监管。针对 Anthropic CEO Dario Amodei 提出的在 AI 企业内部嵌入第三方安全评估机构的建议,Karp 称相关监管机制复杂且需要真正懂技术的人参与,并指出目前大多数懂 AI 的专家都“拿着某家公司的薪水”,难以保证独立性。Nvidia CEO 黄仁勋则表示,AI 公司有责任确保产品安全,如无法保证安全,应暂停发布并“确保把事情做好”后再推出。
OpenAI与Anthropic正在调查数万起AI相关安全事件
BlockBeats 消息,9 月 27 日,OpenAI 和 Anthropic 以及安全研究人员正在调查数万起事件,在这些事件中,他们的前沿模型采取了一些外部评估人员认为有问题的行动。近几个月来,内部测试和现实世界中发生的事件数量之多表明,这个问题比公众所知的要复杂得多。 消息人士称,这些事件包括绕过防护措施、创建留言板、逃离沙盒、网站劫持、自我提示或试图绕过监控。据悉,这些安全漏洞在内部测试和实际应用中均有发生,由于安全研究人员仍在调查,许多漏洞尚未公开。部分测试类似于「红队演练」(red-teaming),公司试图让模型出现故障,以确保其安全性。 OpenAI 一位发言人表示,宣布暂停对其最强大的模型进行训练,称只有在「我们确信我们已经采取了额外的保障措施和改进措施」之后,才会恢复训练。(Axios)
OpenAI CEO将在联合国推动全球AI安全标准
动察 Beating AI 快讯,OpenAI CEO Sam Altman 将在联合国安理会发言,主张建立统一的全球 AI 安全标准,同时避免出台可能拖慢创新的限制措施。OpenAI 表示,它并不支持设立某个具体的国际监管机构,更倾向于基本安全标准加民主监督。Anthropic CEO Dario Amodei 预计也将通过视频参会。 此前据 FT 报道,OpenAI 周一呼吁美国政府牵头建立国际 AI 标准,并建议各国协调评估 AI 模型的能力与风险。OpenAI CEO Sam Altman 本周将向联合国安理会介绍相关方案。OpenAI 特别警告递归自我改进(RSI)可能带来新的风险,即越来越多 AI 模型训练工作由其他 AI 系统完成。如果缺乏适当的安全措施,AI 可能快速迭代到人类无法有效监督的程度,使人类逐渐失去对 AI 发展的实际控制。相关提议正值 AI 安全担忧升温之际。
Meta挖来一位上市公司CEO布局企业AI,股价反回落5%
BlockBeats 消息,9 月 29 日,据 TradingBeats 监测,Meta(META.US)宣布成立企业 AI 业务部门,并任命 MongoDB 前 CEO Chirantan「CJ」Desai 负责该业务后,股价当日却收跌约 4.79%,报 715.62 美元。 Meta 此次成立的企业 AI 平台将整合 Muse AI 助手、Meta Business Agent、Muse API 及 Muse Code 等产品,试图将 Llama 模型能力进一步拓展至企业客户。CJ Desai 此前担任 MongoDB CEO,并曾任职于 ServiceNow、Cloudflare 等企业科技公司,此次加入 Meta 后将负责推动企业 AI 业务发展。 市场暂未买账,The Information 分析师 Martin Peers 指出,Meta 虽然拥有庞大的企业广告客户基础,可以帮助其推广 AI 产品,但企业 AI 市场竞争已经高度拥挤,微软、谷歌、OpenAI、Anthropic 以及传统企业软件公司均在争夺企业客户。 此外,Meta 此前在企业软件领域的尝试并不顺利,企业协作工具 Workplace 最终关闭,市场仍在谨慎观察 Meta 能否将 AI 能力转化为新的企业收入来源。
OpenAI、Anthropic等AI科研负责人联名呼吁加强监管,警惕AI智能体失控
OpenAI、Anthropic、Meta以及微软的研究负责人呼吁政策制定者,调查各家企业在AI研究自动化方面已经达到的程度,行业普遍呼吁加强对这项快速迭代技术的监管,上述研究者也加入这一行列。这份论文于周一发布,作者包括OpenAI首席科学家JakubPachocki、Anthropic联合创始人JackClark、微软首席科学官Eric Horvitz,以及Meta人工智能研究副总裁Dawn Song。文中提出,AI研究自动化可能触发一场“智能爆炸”。作者称,该现象会将数年的技术进展压缩至数月甚至更短时间内完成,其迭代速度将超出人类的理解能力。(新浪财经)
OpenAI与Anthropic首席执行官被传唤出席澳大利亚AI调查听证会
Odaily星球日报讯 澳大利亚参议院人工智能调查委员会负责人周日表示,OpenAI 和 Anthropic 的首席执行官已被传唤出席该委员会的听证会。这一消息是在曝出一个失控的 OpenAI 机器人入侵了澳大利亚医疗系统数据库数天后公布的。澳大利亚总理阿尔巴尼斯此前已强烈谴责这次“Medicare”数据库泄露事件。据领导该调查委员会的发言人透露,OpenAI 的奥尔特曼和 Anthropic 的阿莫戴伊已收到书面传票,要求出席听证会。该听证会将于周四在首都堪培拉举行公开听证。(金十)