国内AI大模型综述:ChaGPT取得突破性进展,国内大模型争相发布 中国之最oxox( 三 )


我们从以上三个维度 , 分析当前发布的部分大模型: 1)算力:算力布局主要来源于芯片的采购布局 , 算力基础设施的投入阻挡了部分小公 司的入局 。当前数据训练需要较高性能的芯片完成对整体模型神经网络的训练构建 ,  供应厂商包括英伟达等 。应用层面只需调用整体大模型里的部分神经网络 , 故对芯片 要求没有训练模型时那么高 。2)算法:OpenAI 仍有先发优势 , GPT-3 之后并未开源 。每家公司都有自己实现大模型 的路径算法 , 由于 GPT 在成立之初就坚持自己的算法路径(采用单项 Transformer 架 构等) , 并在此基础上运用大量数据训练使得模型产生的涌现能力 , 取得了一定的成功 ,  拥有先发优势 。自 GPT-3 开始(2020 年) , OpenAI 便不再公布大模型相关训练及技 术细节 。虽然当前 OpenAI 的成功提供部分借鉴 , 但其他公司仍需时间去研发追赶并进 行模型迭代 。
除此以外 , 部分公司在特定领域拥有算法积累的先发优势 , 比如搜索类公司对语料的 切割和识别有先发优势 , 视觉类公司在图像领域识别有先发优势 。3)数据:当前中文语料规模与质量上不如英文语料 。根据 W3Techs , 中文网站占全球 网站数 1.3% , 英文网站占比 63.6% 。除此以外 , 由于中国移动互联网发展较为成熟 ,  大量的中文数据资源被存于各家企业或机构里 , 较难共享 。
目前 , 国内已有百度、阿里巴巴、腾讯、华为等公司对 AI 大模型进行开发 , 各模型系 列主要的 NLP 语言大模型、CV 大模型、多模态大模型也已推出并实现部分应用落地 。此外 , 据 36 氪消息 , 字节跳动也在语言和图像大模型上有所布局 , 预期将于今年年中 推出字节自研大模型 。具体来看: 百度在 AI 方面布局多年 , 具有一定大模型先发优势 。当前 , 申请文心一言 API 调用服务测试的企业已突破 6.5 万 。在行业大模型上 , 已经与国网、浦发、吉利、 TCL、人民网、上海辞书出版社等均有案例应用 。
阿里通义大模型在逻辑运算、编码能力、语音处理方面见长 , 集团拥有丰富的生 态和产品线 , 在出行场景、办公场景、购物场景和生活场景均有广泛应用 。腾讯混元大模型已经在广告投放、游戏制作投入使用 , 目前集团在研究对话式智 能助手 , 预计投入使用后将对 QQ 和微信生态有一定优化 。华为与 B 端合作紧密 , 预计未来应用以 ToB 为主 。此外 , 华为在算法、算力上储 备较为丰厚 。比如“鹏城云脑 II”获全球 IO500 排行五连冠 , 拥有强大的 AI 算 力和数据吞吐能力 。华为云 ModelArts 平台的高效处理海量数据能力 , 7 天完成 了 40TB 文本数据处理 。盘古大模型最早已经在 2021 年 4 月正式发布 , 当前盘古 大模型训练文本数据高达 40 TB(GPT-3 为 45 TB) 。
百度文心大模型模型简述:已拥有NLP、CV、跨模态、行业等多个AI大模型场景
文心大模型拥有多个 AI 应用场景 , 文心一言是基于文心 NLP 大模型的对话式产 品 。根据官网介绍 , 文心大模型包含 NLP 大模型、CV 大模型、跨模态大模型、生 物计算大模型、行业大模型等 , 分别可用于语言、图像、跨模态、生物、细分行 业等 。2023 年 3 月 16 日 , 百度正式官宣全新的生成式 AI 对话应用——文心一 言 , 是文心 NLP 模型应用下的产品 。其能够与人对话互动 , 回答问题 , 协助创作 。