腾讯混元Hy4开源：7700亿总参数、100万上下文

动察 Beating AI 快讯，腾讯发布 Hy4 preview，新模型采用 MoE 架构，总参数 770B，每次激活 49B，上下文扩到 1M。相比 Hy3 的 295B 总参数、21B 激活参数和 256K 上下文，这一代规模直接翻了两倍多，长上下文也扩大到约 4 倍。 腾讯这次没有只强调通用跑分，而是专门强化代码、办公、游戏和科研等真实任务。比如模型可以从零搭建 Three.js 3D 网站，在 Unity 里制作可玩的游戏 Demo，也能一次处理 72 份财务文件，检查重复报销、额度超限和预算异常。Hy4 还与 WorkBuddy、CodeBuddy 等腾讯产品一起训练和迭代。 更特别的一点是，Hy4 已经开始参与自己的研发。腾讯称，它会帮助优化训练方法、数据策略、评测体系和底层算子，自己提出方案、运行实验，再根据结果继续调整。实验产生的代码、日志和反馈又会进入下一轮研发，已经形成初步的自我改进循环。 Hy4 preview 已接入 WorkBuddy、CodeBuddy、元宝、ima、腾讯云 TokenHub 和 OpenRouter。腾讯此前在财报中就预告 Hy4 会比 Hy3 更大，并把真实产品反馈作为模型训练的重要来源。