梦晨 发自 凹非寺
量子位 | 公众号
预训练大模型,自诞生以来不断刷新AI能力,成为业界竞争的焦点 。
参数规模突破千亿直奔万亿,开发难度和成本也随之增大 。
到了这个份上,大模型的开发与应用似乎成了“巨头专属” , 效果越来越惊艳 , 离普通人却越来越远了 。
不过 , 例外正在发生 。
最近一场AI创意赛上,全国各地近2000人参与,大家脑洞大开,使用大模型能力开发出各类趣味应用 。
如B站UP主同济同济子豪兄的这款论文起名神器,输入摘要就可自动生成论文标题 。
开发出这些作品的人其实很多并非AI从业者,甚至没有计算机专业背景,比如文科生,还有创业公司产品经理等 。
这些作品本身倒不是本文的重点,只是,使用大模型什么时候门槛这么低了?
这场由百度举办的比赛,提供的是文心知识增强大模型做技术支持,此外还有一个特别的标签——
业界首次大模型能力向公众开放 。
要知道,大模型能力像要向公众开放 , 不能光是发发论文、开源一下代码了事 。
背后还要额外付出努力 , 提供一系列低门槛的开发平台和工具、相应的培训和教学,才能让没有AI基础、甚至不会编程的人都能“玩转大模型” 。
为什么要做到这一步?
百度集团副总裁吴甜这样回答:
这个世界上有技术背景的人还是少数,AI想要落地不能仅靠技术人员,创意在民间 。
只有技术门槛低到了所有人都可以的时候,创意才会真正大规模爆发起来,这是人工智能落地路上必然的趋势 。
大模型落地难在哪?
想要理解这个趋势,得先跳出比赛本身 , 看看AI落地、特别是大模型落地到底遇到了什么困难 。
最近 , 微软认知服务团队发表的一篇大模型遭遇“不可能三角”论文,引发业内关注 。
论文提出,目前的预训练语言模型对于模型规模、精调能力、小样本能力三者不可兼得 。
目前业内的普遍做法,是试图得其二的同时努力往第三点靠 。
放弃控制规模开发超大模型,可以再用知识蒸馏等手段做小型化 。
不追求少样本能力,可以在缺少数据的任务上做数据增强 。
不追求精调能力,改用提示学习( )做少样本任务的方法最近也火了起来 。
![参数跑分真那么重要?大模型评价标准该变变了](http://img.gansulong.com/231222/01224Ac7-0.png)
文章插图
不过妥协的办法总归是有这样那样的问题,从效果或成本上阻碍大模型进一步应用落地 。
如何突破这个“不可能三角”,各家都有着自己的答案 。
微软论文中给出一种可能路径,先从个别任务上打开突破口,如命名实体识别或文本摘要,实现单一任务占据全部三项优势后再图横向拓展 。
谷歌近日推出的下一代AI架构 , 则是从提升训练效率角度尝试解决 。也就是不怕模型大,转而追求把炼大模型的难度降低 。
百度的技术路线则是知识增强,让AI在大规模知识的指导下以更高效率学习到海量数据中蕴含的规律 。
百度靠引入大规模知识图谱,只用百亿级参数规模就在语言模型权威测评上登顶全球榜首,超越人类水平0.8个百分点 。
后来发布的全球首个千亿级知识增强大模型鹏城-百度·文心,更是在机器阅读理解、文本分类、语义相似度计算等60多项任务中都取得了最好效果,在30多项小样本和零样本任务上 , 也刷新了基准 。
……
关于模型本身的事先说到这里 , 现阶段要想真正解决大模型落地问题,百度还提出一个观点:
光靠技术手段是远远不够的 。
跳出技术之外
文心大模型家族自2019起开始打造,百度对其定位是产业级知识增强大模型 。
知识增强前面已经介绍,那么该如何理解“产业级”这个定位?
吴甜解释其含义为“来源于产业实践,同时服务于产业实践,在实践当中建设起来” 。
一方面 , 百度研发大模型的初衷就来自产业的落地实践 。
AI落地场景越多,模型面临泛化性差的问题就越突出 。每面临一个新的场景就需要收集新的数据,进行新的模型训练 。
预训练模型的出现,通过集中提供通用算法、打造技术底座 , 大幅降低了人工智能的应用门槛,从开发阶段就应该是面向产业的 。
开发设计阶段用到的数据要来源于产业 。百度走的知识增强路线,意味着深入到金融、医疗等特定行业时 , 除了收集该行业的非结构化数据,还要积累专业知识 。
做不同的任务设计,模型最后学到的是不一样的 。百度会结合大量的产业应用,借助任务构建器不断地提炼任务、挖掘任务,让模型持续进行学习 。
另一方面,文心又依托于百度功能完备的产业化大生产平台输出到百行千业,为行业使用大模型带来更大的便捷 。
文心大模型开放了配套大模型开发、轻量化和部署的工具,推进产业落地应用,激发创意 。
依托百度飞桨平台自主研发的端到端自适应分布式训练框架与4D混合并行技术 , 以及百舸AI异构计算平台,解决了大模型训练过程中多个世界性难题,使大模型训练速度提升、模型效果更优 。
在落地应用上,文心若仅提供API调用只能满足离技术较近行业的少量需求 。
因此,百度还会提供配套的数据标注、模型轻量化、边缘部署等一系列工具和平台 。
如此开发出的产业级知识增强大模型 , 核心价值在于驱动AI的规模化应用 。
人工智能在与众多这些产业结合时,场景非常分散、长尾 。
针对高频次、容易流程化和标准化的场景,可以直接提供开发好的AI能力 , 如保险行业的合同处理,可以靠智能文档分析能力完成 。
但还有很多如制造业、教育等行业中更碎片化的场景,数字化基础薄弱,行业知识更依靠人类专家经验、师徒间口口相传 。
这就回到了文章开头的问题,为什么要把AI大模型能力做到向公众开放?
![参数跑分真那么重要?大模型评价标准该变变了](http://img.gansulong.com/231222/0122462406-1.png)
文章插图
数量众多的场景 , 要是靠AI工程师去一个一个去深入调研、做适配,无法解决所有的问题 。
【参数跑分真那么重要?大模型评价标准该变变了】只有让有需求的人都能认识、接触、亲手用上大模型 , 才能激发创意,取得应用落地上的更大突破 。
为此,百度飞桨提供了零门槛AI开发平台,拥有从数据采集、标注、清洗到模型训练、部署的一站式AI开发能力,无需编程和算法基础就能使用 。
对更复杂的需求 , 也有BML全功能AI开发平台,提供开发环境、功能组件和高性价比的算力资源 。
通过不断降低门槛,构建大模型生态,文心大模型对外调用量超5000万次 , 服务了6万+开发者、企业、科研机构 。
为了让更多人看到大模型、了解大模型、用上大模型,百度举办了面向公众的AI创意赛 。
此外还有面向产业的首席AI架构师培养计划,已向业界输送247位AI架构师,遍布工业、农业、金融、交通、能源等数十个行业 。
人工智能高校师资培训,免费培训AI专业教师3000余人,助力700多个高校开设深度学习课程,培养了数万名在校生 。
去年底 , 还宣布成立百度松果学堂,打造源于产业的AI人才培养平台,致力于让每个人都能更便捷地获取AI知识,学习AI技术 。
所有积累的行业知识、产业应用、人才都将汇聚在文心大模型生态,以及背后更大的百度飞桨深度学习生态中进一步推动AI落地,形成正向循环 。
到底什么才是一个好的大模型?
当今,各大研究机构、科技公司都争相打造自己的大模型 。
参数规模上千亿、训练数据也上千GB 。单体稠密模型之外,也有稀疏模型路线,参数更是突破万亿 。
各大基准测试榜单也不断被刷新,超越人类平均水平已是过去式,追上人类最佳水平成了新的目标 。
层出不穷的进展让人眼花缭乱,到底该如何评价一个大模型的优劣?
若是单纯比参数大?。笔Я顺杀竞托实奈?。若只看跑分高低,也看不出真正落地时的效果 。
如此看下来 , 一个大模型好坏的新标准也呼之欲出:
能否在性能领先的同时支撑大量产业应用 。
从这个角度看,开发者数量超过6万、在数百个场景中落地应用的文心大模型,真正可称作“产业级”大模型 。
而且百度打造大模型,从技术和难度上来说,并无意外之处 。
但最值得关注的还是入场的初心和立场 。
据称文心大模型问世 , 核心是来自于产业实际的需求,并非闭门造车的结果 。
一方面,产业有需求,于是百度有了响应,并且很快实现了技术工程化,再通过飞桨快速实现了产业应用 。
另一方面,产业的反馈证明了大模型的价值 。在文心落地中,不仅各类大小企业实现了产业化升级,而且侧面证明了大模型在商业化落地上的可能性和可行性之路 。
在AI模型中 , 输入、输出以及反馈是缺一不可的关键要素,而文心大模型的实践,同样完成了这样的闭环 。
但这种路径在大模型上是否可复制?
答案或许还不能言之凿凿 。
首先要考虑的是技术能力,其次还得有产业生态 , 最后还能真正从开发者的反馈中获得认可 。
文心之路,多少有点百度飞桨的“凡尔赛”意味,其所具备的要素 , 并非其他玩家兼具 。
但至少,一条大模型的商业化落地路径,现在已经清晰可见 。
文心模式,就是这条路线 。
参考资料:
[1]
- 英德红茶的分类及功效与作用 英德红茶的分类及功效
- 郑州公租房一居室两居室是怎么分配的?
- 发酵床养殖模式应用失败的几种情况及原因分析
- 2023全国入冬进程图出炉 我国超四分之三区域已入冬
- 牛肉面臊子制作方法 牛肉面臊子制作方法和配料
- 洪山区广埠屯小学铁机分校工程什么时候开建?
- 驴的饲养成本分析,肉驴的养殖前景如何?
- 《侠客风云传》1资质开局心得分享攻略
- 11月13日关于对双桂街道部分区域 双桂路街道
- 11月16日关于解除梁平城区部分区域临时管控的通告