嘉楠科技已开源通用大语言模型Toucan,INT4量化效果媲美ChatGLM

PANews 8月18日消息,ASIC芯片设计公司嘉楠科技(Canaan)近日正式发布参数量70亿的通用大语言模型Toucan-7B及INT4量化版本的Toucan-7B-4bit。其中,Toucan-7B基于LLaMA预训练权重进行指令微调,能够实现文案写作、代码解析、信息抽取等各种通用自然语言处理任务。Toucan-7B-4bit基于当前最新量化技术对Toucan-7B实现极低损失的INT4量化。此外,Toucan-7B是基于GTX-3090单卡GPU实现所有的实验流程,是真正方便每位开发者所使用的通用LLM模型。Toucan-7B的效果略微优于ChatGLM-6B,并且Toucan-7B-4bit模型的效果也能够达到与ChatGLM-6B持平的水准。ChatGLM(清华开源LLM模型)是国内首批开源的通用大语言模型,也是最优秀的中文大语言模型之一。

分享至:

作者:PA一线

本内容只为提供市场信息,不构成投资建议。

关注PANews官方账号,一起穿越牛熊
推荐阅读
2023-08-18 09:11
2023-08-18 09:06
2023-08-18 09:01
2023-08-18 08:14
2023-08-18 07:38
2023-08-18 07:28

热门文章

行业要闻
市场热点
精选读物

精选专题

App内阅读