OpenBuddy发布新一代中文跨语言大模型 基于Llama 3 70B打造

对于娄艺潇刚上线的《新龙门客栈》，我不想废话太多，直接上图就能感受到这部网大和92版张曼玉主演的《新龙门客栈》有多大区别？先看“龙门客栈”中最有特色的老板娘金镶玉：92版徐克笔下的老板娘金镶玉，是一位在大漠匪患横行的时代，以女人身份屹立不倒的独特存在，她能游离在大漠各方势力之中，让自己的龙门客栈始终屹立不倒。

5月10日 消息: 团队发布了基于 Meta 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k，这是他们首次在 Llama370B 基座上的中文尝试。

Llama370B 是一个15T 训练集训练而成的稠密大模型，然而由于训练集中缺少，Meta 官方的 Llama3系列对话模型在中文领域的认知、理能力较弱，容易出现以英文回答中文问题的现象。

因此，OpenBuddy 团队在此次训中选择了 Llama370B Base 模型作为基础，重点提升模型的跨、认知能力。

测试过程中，OpenBuddy-Llama3-70B 展现出了优秀的中文理解能力，具备了更的认知潜力和量化后性能。在此次发布的模型中，他们对 Llama3现有词表进行了扩，增加了7000余个中文字词，进一步提升了模型中文编码密度。

值得一提的是，于量化版模型能力下降较为明显，他们本次只发布了模型的完整版权重，后续会尝优化70B 模型的量化后性能，并挑选合适时机发布量化版。

模型链接:

https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-70b-v21.1-8k/summary