基于CPM的中文作文生成模型，引经据典、修辞手法，信手拈来( 二 ) _cpm

笔者使用了三张GTX 对模型并行训练，为50，模型输入长度为200 。三张显卡的显存满载，训练一轮大约需要3个小时，一共训练了40轮，loss降到2.1左右，单词预测准确率大约为54% 。
在生成阶段，根据输入的标题和上文，在每一步中，模型输出下一个位置的单词概率分布，然后使用topk采样或者topp采样（核采样）生成下一个位置的单词。
如果读者拥有充足的显卡资源，可以尝试训练更大规模的模型，并且把输入的长度调到1024，这样能够提升模型的生成效果。
GPT2是一个生成模型，本质上是在学习单词之间的概率依赖关系，读者也可以使用各种数据集来训练模型，得到不同的生成模型，例如作文、小说、新闻、古诗等。
03
生成效果
生成样例1

文章插图
title：家乡的四季
:家乡的四季,最美不过了
生成样例2
title: 徜徉在书籍的阳光世界
: 一本书是一个人的眼睛，它可以让你看到另一个世界的奇妙
生成样例3
title: 我最敬佩的一个人
:在我的生活中,有外冷内热的妈妈,有拼命工作的爸爸
04
结语
本文介绍了CPM模型，并且分享了笔者训练的一个作文生成模型，以及训练细节，整体生成效果还不错。对于中文生成任务，从笔者的实践经验来说，笔者主观上觉得词语词表的效果会比字符词表的效果更佳。