Tether發表跨平台BitNet LoRA框架,十億參數模型可在消費級設備完成微調

PANews 3月21日消息,根據官方公告,Tether 宣布推出QVAC Fabric 中的跨平台BitNet LoRA 微調框架,實現對Microsoft BitNet(1-bit LLM)的訓練與推理優化。此框架大幅降低算力與記憶體需求,使十億參數級模型可在筆電、消費級GPU 及智慧型手機上完成訓練與微調。

此方案首次實現BitNet 模型在行動裝置GPU(包括Adreno、Mali 及Apple Bionic)上的微調,測試顯示,125M 參數模型可在約10 分鐘內完成微調,1B 模型約1 小時等級完成,甚至在手機端可擴充至13B 參數模型。

此外,該框架支援Intel、AMD 及Apple Silicon 等異構硬件,並首次實現非NVIDIA 設備上的1-bit LLM LoRA 微調。效能方面,BitNet 模型在行動GPU 上的推理速度較CPU 提升2 至11 倍,同時在顯存佔用上較傳統16-bit 模型最高降低約77.8%。

Tether 表示,該技術有望打破對高端算力與雲端基礎設施的依賴,推動AI 訓練向去中心化與在地化發展,並為聯邦學習等新型應用場景提供基礎。

分享至:

作者:PA一线

本內容只為提供市場資訊,不構成投資建議。

關注PANews官方賬號,一起穿越牛熊
PANews APP
某隻巨鯨賣出兩週前買進的720枚BTC,獲利103萬美元
PANews 快訊