Cua Driver给Agent补上「眼睛」:纯像素界面也能识别按钮和文字
相关推荐
DeepSeek Harness补上Browser Use和Computer Use:现在能操作网页,也能接管本机App
动察 Beating AI 快讯,DeepSeek Harness 最新的 v0.1.6-alpha.1 同时新增实验性 Browser Use 和 Computer Use。模型现在既能直接操作网页,也能查看并控制本地桌面。 Browser Use 支持 Playwright MCP、Chrome DevTools MCP 和 Stagehand,可以直接操作网页。Computer Use 则接入 Cua Driver,可找到具体 App 和窗口、获取当前界面截图,再根据界面元素或坐标执行点击和输入。官方提供 MCP 和原生两种 Computer Use 接入方式。 两项能力目前都属于实验性功能,需要手动启用。Computer Use 还需要给实际运行它的应用授予屏幕读取和电脑操作权限。
Holo4发布:千问底座,专门强化Computer Use
动察 Beating AI 快讯,法国 AI 公司 H Company 发布 Computer Use 模型 Holo4,包括 27B 和 35B-A3B 两个版本。前者基于 Qwen3.8 dense 架构,后者基于 Qwen3.5 MoE 架构继续做后训练。 H Company 主要强化了电脑操作和长任务执行能力,把原本的通用模型进一步训成面向 Computer Use 的 Agent 模型。 监督微调阶段,H Company 一共用了 1270 亿 tokens,其中约四分之三是成功完成任务的 Agent 操作轨迹,覆盖桌面、网页、手机、MCP 和 API。随后又做强化学习,分别训练「桌面和网页」与「终端、MCP 和 API」两类专家能力,再合回同一个模型。公司还自己生成了约 1 万个软件操作任务,用来训练跨应用和长流程工作。 H Company 还重做了 Agent harness,让模型在数百步任务里持续记住前面的操作,并可以直接调用电脑上的 shell。 效果主要体现在长任务上。Holo4 27B 在 OSWorld 2.0 得到 61.7%,Qwen3.8-27B 官方成绩为 48.0%;在普通 OSWorld 上,Holo4 为 85.2%,Qwen3.8-27B 则为 84.3%。不过这些成绩的 harness、任务版本和评测设置并不完全一致,不能当成严格的同条件对照。
Qoder上线Sonus:专攻Computer Use
动察 Beating AI 快讯,阿里旗下 Agent 平台 Qoder 上线新的内置模型 Sonus,主打长时间自主任务、复杂知识工作和编程,重点强化 Computer Use。配合新版 Qoder Desktop,它可以直接操作电脑和专业软件,完成写代码、财务建模、研究和表格等任务。 Sonus 已上线 Qoder、IDE、CLI、JetBrains 插件、QoderWake 和 Cloud Agents,计费倍率为 3.2x。Qoder 此前已经推出同为 3.2x 的内置模型 Cantus,同样主打超长自主任务;Sonus 这次进一步把电脑操作作为核心能力。
Instinct和Muse想到一块:Agent免费,靠交易抽成
动察 Beating AI 快讯,个人 AI Agent Instinct 创始人 Noah Shinn 在首次公开长访谈中讲了公司准备怎么赚钱。 Shinn 希望 Instinct 最终能长期免费,不向用户收订阅费。Agent 替用户订酒店、购物等完成交易后,Instinct 再向拿到订单的商家收一小笔佣金。不过这目前还只是他的目标,Instinct 暂时没有承诺永久免费。 Shinn 也明确不想做广告。个人 Agent 会越来越了解用户,也会越来越擅长影响用户的决定。如果平台靠广告挣钱,Agent 就可能开始劝用户买原本没打算买的东西。他更希望 Instinct 只从用户本来就要完成的交易里挣钱。 具体抽多少还没定。Shinn 拿 Shopify、Amazon 和 Apple 的平台抽成做参照。Instinct 目前约一半交易额来自旅行,一些精品酒店愿意为它带来的订单支付最高超过 30% 的佣金,但 Instinct 不一定会收这么高。 巧的是,扎克伯格此前给 Muse 设想的也是这套模式:大多数用户免费使用,Agent 帮用户完成交易后,再向获得生意的商家收费。
Meta把Muse接进AI眼镜:看到什么,直接让Agent去办
动察 Beating AI 快讯,Meta 宣布把个人 AI Agent Muse 接入旗下 AI 眼镜。用户以后可以直接对着眼镜叫 Muse,再把任务交给它。Muse 会在后台继续执行,完成后再回来告诉用户结果,不需要一直掏手机操作。 能做的事情已经不只是问问题。比如让 Muse 带着你完成个性化训练、记录一顿饭并分析营养,或者预约服务、查机票价格。看到想买的商品时,也可以直接让它帮忙购买;开车或做饭时,还能让它去网上找需要的零件。 Meta 的眼镜此前已经接入 Muse Spark,主要负责理解用户看到的东西、回答问题和提供建议。这次接进去的是完整的 Muse Agent。它可以连接日历、购物等服务,把眼镜里的一句语音继续变成后台任务。 Meta 同时大幅扩充 AI 眼镜产品线。年底前,Ray-Ban、Oakley 和 Meta Glasses 合计将提供超过 100 种款式。新发布的 Ray-Ban Meta Audio 甚至直接取消摄像头,只保留音频和 AI,单次续航最长 12 小时。眼镜正在变成 Meta 给 Muse 准备的全天候入口。
Muse曝零日漏洞,本地程序可劫持Agent权限
动察 Beating AI 快讯,Meta 的个人 AI Agent Muse 刚上线两周,就被安全研究员 Patrick Wardle 揪出一个本地零日漏洞。 攻击者只要能让一段代码以当前用户身份在 Mac 上运行,就能修改 Muse 一个隐藏设置,把语音请求转到自己的服务器。这段代码不需要额外的 macOS 权限。之后可以截获用户说给 Muse 的内容、注入恶意指令,还可能拿到 Muse 的认证信息。 Muse 本身能访问文件、相机等系统资源。用户给 Muse 开了什么权限,恶意程序就可能借 Muse 去调用这些权限。不过,这不是一个能隔空入侵 Mac 的漏洞,攻击者必须先让代码在本机运行。 Meta 发布 Muse 时专门强调安全设计,还加入了 Muse Secure VM 和独立的 Sentinel Agent。没想到首个零日漏洞,竟然出在 Mac 客户端一个普通本地进程就能修改的隐藏设置上。