从BERT到ChatGPT！97页全面综述：那些年一起追过的预训练基础模型( 二 ) _训练

这篇文章中，研究人员主要回顾了文本、图像和图（graph）相关的PFM，也是一个相对成熟的研究分类方法。
对于文本来说，语言模型通过预测下一个单词或字符即可实现多种任务，例如，PFMs可用于机器翻译、问题回答系统、主题建模、情感分析等。
对于图像来说，类似于文本中的PFMs，使用大规模的数据集来训练一个适合多个CV任务的大模型。
对于图来说，相似的预训练思路也被用于获得PFMs，可用于诸多下游任务。
除了针对特定数据域的PFMs，文中还回顾并阐述了其他一些先进的PFMs，如针对语音、视频和跨域数据的PFMs，以及多模态PFMs 。
此外，一个能够处理多模态的PFMs的大融合趋势正在出现，也就是所谓的统一（）PFMs；研究人员首先定义了统一PFMs的概念，然后回顾了近期研究中最先进的统一PFMs，包括OFA、-IO、FLAVA、BEiT-3等。
根据这三个领域现有的PFMs的特点，研究人员得出结论，PFMs有以下两大优势：
1. 只需要进行极少的微调就可以提高模型在下游任务上的表现；
2. PFMs已经在质量方面通过了考验。
与其从头开始建立一个模型来解决类似的问题，更好的选择是将PFMs应用于与任务相关的数据集。
PFMs的巨大前景激发了大量的相关工作来关注模型的效率、安全性和压缩等问题。
这篇综述的特点在于：
参考资料：
点击进入—>【计算机视觉】微信技术交流群
最新论文和代码下载

后台回复：，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：综述，即可下载最新的3篇综述PDF
目标检测和Transformer交流群成立扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer333，进交流群CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！▲扫码进群▲点击上方卡片，关注CVer公众号
【从BERT到ChatGPT！97页全面综述：那些年一起追过的预训练基础模型】整理不易，请点赞和在看