PANews 7월 16일 소식, Decrypt 보도에 따르면 PrismML이 Bonsai 27B 모델을 출시했습니다. 이는 소비자용 스마트폰에서 실행 가능한 최초의 270억 매개변수 AI 모델입니다. 이 모델은 3.9GB로 압축되어 iPhone 17 Pro Max에서 초당 11토큰의 속도로 실행됩니다. 삼진법 변형은 5.9GB로 압축되어 M5 Pro 노트북에서 초당 26토큰의 속도를 달성합니다. 압축 기술은 캘리포니아 공과대학(Caltech)의 지식재산권을 기반으로 하며, 각 모델 가중치를 16비트 부동소수점 정밀도에서 단순히 +1 또는 -1로 줄여, 이진법 변형은 완전 정밀도 모델보다 14배 작습니다. 15개 벤치마크 테스트에서 삼진법 Bonsai 27B는 평균 80.49점을 기록하며 완전 정밀도 모델 성능의 94.6%에 도달했습니다. 이 모델은 Apache 2.0 라이선스로 무료 배포됩니다. PrismML CEO 바박 하시비는 회사가 애플과 압축 기술에 관한 초기 협상을 진행 중임을 확인했으며, 다음 단계로 Gemma 모델 압축을 계획하고 있습니다.

앞서 어제 전해진 소식에 따르면, 애플이 AI 모델을 압축해 iPhone에서 로컬로 실행할 수 있게 하는 스타트업과 협상 중입니다.