嘉楠科技已开源通用大语言模型Toucan,INT4量化效果媲美ChatGLM

This article is not available in the current language yet. Showing the original version.

PANews 8月18日消息,ASIC芯片设计公司嘉楠科技(Canaan)近日正式发布参数量70亿的通用大语言模型Toucan-7B及INT4量化版本的Toucan-7B-4bit。其中,Toucan-7B基于LLaMA预训练权重进行指令微调,能够实现文案写作、代码解析、信息抽取等各种通用自然语言处理任务。Toucan-7B-4bit基于当前最新量化技术对Toucan-7B实现极低损失的INT4量化。此外,Toucan-7B是基于GTX-3090单卡GPU实现所有的实验流程,是真正方便每位开发者所使用的通用LLM模型。Toucan-7B的效果略微优于ChatGLM-6B,并且Toucan-7B-4bit模型的效果也能够达到与ChatGLM-6B持平的水准。ChatGLM(清华开源LLM模型)是国内首批开源的通用大语言模型,也是最优秀的中文大语言模型之一。

Share to:

Author: PA一线

This content is for market information only and is not investment advice.

Follow PANews official accounts, navigate bull and bear markets together
PANews APP
Huang Licheng closed out 2,700 ETH in the past 4 hours to avoid being liquidated, but still holds 5,000 ETH in long positions.
PANews Newsflash