2023智源大会议程公开丨基础模型前沿技术论坛( 二 ) _模型

刘胤焓， Birch.ai核心创始人及CTO
and CTO of , where sheAI on. Prior to , sheatAIon NLP, where sheand Bart, mBart.
3、多模态预训练的进展回顾与展望
议题简介：近年来，从预训练模型到预训练大模型，从文本、音频、视觉等单模态大模型，到现在的图文、图文音等多模态预训练大模型，无论在学术界还是企业界预训练模型都得到了广泛关注与爆发式发展。多模态预训练通过联合图文音等多模态内容进行模型学习，其发展在多模态理解、搜索、推荐、问答，语音识别与合成，人机交互等应用领域中具有潜力巨大的市场价值。本报告主要包含三方面内容：分析多模态预训练模型的重要性与必要性；回顾当前多模态预训练的最新研究进展；多模态预训练模型主要应用场景与未来展望。
刘静，中科院自动化所研究员
?中科院自动化所研究员/博导，中国科学院大学岗位教授，国家优青获得者。研究方向多模态分析与理解，紫东太初大模型。曾获中国电子学会自然科学一等奖，图像图形学会科学技术二等奖， 2022年世界人工智能大会“卓越人工智能引领者奖SAIL” 。承担或参与多项国家自然科学基金项目、国家973课题、国家基金重大研究计划、国家重点研发等。已发表高水平学术论文150余篇，谷歌学术引用11000+次， SCI他引次数4000+次，其中有三篇被ESI列为Top1%高被引论文。在视觉计算相关领域的多项国际学术竞赛中荣获冠军10+项。
4、 Large: From Power Law to

文章插图
议题简介：深度学习的模型容量和训练时间的加倍均可导致模型质量的线性提升，这个被堪称新摩尔定律的Power Law直接促使了各大科技公司在模型容量和训练时长上的军备竞赛（e.g T5, , PaLM, GPT, etc.) 该讲座将围绕大语言模型的展开，深入浅出的讨论如何用-of-方法在不增加运算量的前提下提高模型的容量，以及如何用搜索出一款最适配目标硬件的的稀疏模型来。
周彦祺，谷歌研究科学家
谷歌研究科学家，曾参与T5等重要模型工作，曾在David指导下获得普林斯顿大学博士学位 (2011-2017) ，并曾于吴恩达带领下的百度SVAIL实验室担任研究科学家（2017-2019）。主要研究兴趣为计算机系统和机器学习，致力于通过稀疏性和自适应计算扩展大型语言模型，并与 ML 共同设计未来系统。
5、圆桌对话
圆桌论坛嘉宾：
刘知远：清华大学副教授丨主持人
周彦祺：谷歌研究科学家
刘胤焓：Birch.ai核心创始人及CTO
刘鹏飞：上海交通大学清源研究院副教授
刘静，中科院自动化所研究员
刘鹏飞，上海交通大学清源研究院副教授
【2023智源大会议程公开丨基础模型前沿技术论坛】上海交通大学清源研究院副教授，生成式人工智能研究组(GAIR)负责人，专注于自然语言的预训、生成和评估等研究方向；在自然语言处理和人工智能领域发表学术论文 60 余篇。谷歌学术引用 6800 余次。ACL会议史上首次实现连续两年获得 & Demo Paper Award；提示工程( )概念最早提出者之一。代表作包括：, 高考英语AI, LIMA等工作。