ChatGLM ：千亿基座的对话模型启动内测，单卡版模型已全面开源 _模型

近日，由清华技术成果转化的公司智谱AI 开源了 GLM 系列模型的新成员——中英双语对话模型 -6B ，支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B 千亿基座模型之后，智谱AI再次推出大模型方向的研究成果。与此同时，基于千亿基座模型的也同期推出，初具问答和对话功能，现已开启邀请制内测（内测申请网址），后续还会逐步扩大内测范围。
开源的地址：
什么是-6B？
据悉， -6B 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于Model (GLM)架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
-6B 使用了和相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持， 62 亿参数的 -6B 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
-6B 有什么优势？
具体来说， -6B 具备以下特点：

文章插图
基于以上特点， -6B 在一定条件下具备较好的对话与问答能力，以下是 -6B 的对话效果展示：
-6B 的不足
由于 -6B 模型的容量较小，不可避免的存在一些局限和不足，包括：
线上模型内测
同时，智谱 AI 还开启了线上模型的内测。相比起 -6B ，线上模型的能力提升主要来源于独特的千亿基座模型 GLM-130B 。它采用了不同于 BERT、GPT-3 以及 T5 的 GLM 架构，是一个包含多目标函数的自回归预训练模型。2022 年 11 月，斯坦福大学大模型中心对全球 30 个主流大模型进行了全方位的评测， GLM-130B 是亚洲唯一入选的大模型。在与、 Brain、微软、英伟达、Meta AI 的各大模型对比中，评测报告显示 GLM-130B 在准确性和公平性指标上与 GPT-3 175B () 接近或持平，鲁棒性、校准误差和无偏性优于 GPT-3 175B （下图）。

文章插图
基于千亿基座的线上模型目前在进行邀请制内测，用户需要使用邀请码进行注册，也可以填写基本信息申请内测。
由生成的对话效果展示：
整体而言，距离国际顶尖大模型研究和产品还有一定差距， GLM 团队也在博客中坦言了这一点，并表示将持续研发并开源更新版本的和相关模型。欢迎大家下载 -6B ，基于它进行研究和（非商用）应用开发。GLM 团队希望能和开源社区研究者和开发者一起，推动大模型研究和应用在中国的发展。

【ChatGLM ：千亿基座的对话模型启动内测，单卡版模型已全面开源】

?香港科技大学：期中报告使用 ChatGPT 可加分；爆谷歌、微软已在韩国开始裁员；美国最大加密货币银行宣布关闭|极客头条?烧数亿美元、耗上万颗英伟达 GPU ， 微软揭秘构建 ChatGPT 背后超级计算机往事 ！?各家的“ChatGPT”什么时候能取代程序员？CSDN AI编程榜发布