PrismML发布Bonsai 27B，270亿参数AI模型首次适配iPhone

PANews 7月16日消息，据Decrypt报道，PrismML发布Bonsai 27B模型，这是首个能够在消费级智能手机上运行的270亿参数AI模型。该模型被压缩至3.9GB，可在iPhone 17 Pro Max上以每秒11个token的速度运行。三进制变体压缩至5.9GB，在M5 Pro笔记本上达到每秒26个token。压缩技术基于加州理工学院知识产权，将每个模型权重从16位浮点精度降至仅正1或负1，二进制变体比全精度模型小14倍。在15项基准测试中，三进制Bonsai 27B平均得分80.49，达到全精度模型94.6%的性能。该模型以Apache 2.0许可证免费发布。