PANews 7月16日消息，据Decrypt报道，PrismML发布Bonsai 27B模型，这是首个能够在消费级智能手机上运行的270亿参数AI模型。该模型被压缩至3.9GB，可在iPhone 17 Pro Max上以每秒11个token的速度运行。三进制变体压缩至5.9GB，在M5 Pro笔记本上达到每秒26个token。压缩技术基于加州理工学院知识产权，将每个模型权重从16位浮点精度降至仅正1或负1，二进制变体比全精度模型小14倍。在15项基准测试中，三进制Bonsai 27B平均得分80.49，达到全精度模型94.6%的性能。该模型以Apache 2.0许可证免费发布。PrismML CEO Babak Hassibi确认公司正与苹果就压缩技术进行早期谈判，下一步计划压缩Gemma模型。

此前昨日消息，苹果正洽谈一家可压缩AI模型、使其能在iPhone本地运行的初创企业。