PANews 7月16日、Decryptによると、PrismMLがBonsai 27Bモデルを発表した。これは一般消費者向けスマートフォン上で動作可能な初の270億パラメータAIモデルだ。同モデルは3.9GBに圧縮され、iPhone 17 Pro Max上で毎秒11トークンの速度で動作する。三進数バリアントは5.9GBに圧縮され、M5 Proラップトップ上で毎秒26トークンに達する。圧縮技術はカリフォルニア工科大学の知的財産権に基づき、各モデルの重みを16ビット浮動小数点精度から+1または-1のみに削減し、バイナリバリアントはフル精度モデルより14倍小さい。15項目のベンチマークにおいて、三進数Bonsai 27Bの平均スコアは80.49で、フル精度モデルの94.6%の性能を達成した。同モデルはApache 2.0ライセンスで無料公開されている。PrismMLのCEOであるBabak Hassibi氏は、同社がAppleと圧縮技術に関する初期段階の協議を行っていることを確認し、次のステップとしてGemmaモデルの圧縮を計画していると述べた。

これに先立つ昨日のメッセージとして、AppleはAIモデルを圧縮し、iPhone上でローカル実行可能にするスタートアップ企業と協議中であると報じられていた。