视觉与多模态大模型前沿进展 | 2023智源大会精彩回顾( 四 ) _模型

（3）将视觉模型拓展到一个开放世界（Open World），构建起一个世界模型（World Model），每个个体小模型通过蒸馏的方式与世界模型进行交互学习；
（4）探究视觉模型在长尾分布问题上的解决方案。
针对以大模型为基础的模型演化，与会专家认为有以下几个值得研究的方向：
（1）在模型参数量（模型容量）固定的情况下，如何让模型容纳更多的信息；
（2）探究使用较少的数据达到与使用全部数据训练相当的性能，即数据集蒸馏；
（3）在模型数据足够大的前提下，设计更好的路径选取方式已适用于特定任务。
（4）大模型的稀疏优化。
潘新钢教授认为，（1）方法在大部分情况下是通用的，可以在负担得起的计算资源上验证方法的有效性；（2）有些任务并不依赖大模型，而且并不是所有的问题都要从头开始训练模型；（3）在未来，校企合作可能会成为更广泛的研究方式。
夏威博士认为，（1）把一些优化算法（如分布式训练、节约显存操作等）集成到研究当中；（2）在模型设计中减少冗余计算。
高俊博士除了赞同目前还有很多任务不依赖大模型这一观点外，还认为可以把一个大的研究问题分解成多个易于解决的小问题，这些小问题可以用有限的计算资源去解决。另外一个方面要提升代码的高效性。