智能文本生成：进展与挑战( 七 ) _文本

● 内容安全性不足（“写得有害”）。目前的文本生成模型在一些特定的条件或提示下会生成不安全、不友好的文本内容，例如侮辱性言论、种族歧视言论、性别歧视言论等不当言论，也可能会生成诸如“请食用从山上采到的彩色蘑菇”这类威胁人身安全的语言。业界设计了多个可控文本解码算法（例如）在解码过程中控制输出文本的属性类别。则通过基于人类反馈的强化学习手段，利用人工标注数据优化模型，尽量让模型与人类价值观对齐，在实际测试中具有良好表现，但受限于标注数据的规模和领域覆盖性，以及强化学习方法自身的能力，内容安全性不足的问题并没有得到真正的解决。
● 文本生动性不够（“写得不美”）。智能文本生成的最终目标之一是能够自动生成更加生动和形象的文本，让读者感受到语言之美，体会到文字的感染力。实现这个目标的主要方式包括巧用修辞手法（如双关、隐喻、比喻、夸张等）、引经据典、巧用幽默和词语等。然而，当前的文本生成模型不具有上述写作能力，仅能生成相对平实、直白的语言。业界已有少数工作分别聚焦在不同类型修辞语言的生成、引文推荐、简单幽默的生成，但任务定义和实现方法均比较初级，距离实现文本生动性的目标还有很大的差距。
● 篇章连贯性不强（“写得不通”）。当前的文本生成模型通常具有能力较强的解码器，能够生成流畅的语句，但是在生成长文本时会出现句间连贯性的问题，语句之间可能存在连贯性较差或相互矛盾的情况，也会存在篇章逻辑方面的问题。例如，文本生成大模型会生成“……我不是你的主人，我是你的主人……”这样前后矛盾的文本，这样的结果会严重影响读者的阅读和理解。业界已尝试利用强化学习手段提升连贯性，或利用内容规划信息指导文本生成，但是长文本的连贯性问题仍有待深入探索。
5结论与展望
本文对智能文本生成的应用现状、主要方式、主流方法及面临的挑战进行了全面的阐述。智能文本生成技术不仅能用于智能写作，还能用于解决其他几乎所有自然语言处理任务，即“万物皆可生成” 。从近几年的研究趋势可以看到，绝大部分自然语言处理任务（包括智能问答、信息抽取、句法分析、语义分析等）可以通过序列转换模型或预训练语言模型加以解决，并能取得突出的试验效果。因此，更好的文本生成方法/模型将能够促进整个自然语言处理领域的发展。
展望未来，除了继续探索可控性文本生成方法之外，业界还可以探索人在回路的文本生成，使模型可以充分、持续利用人类与模型交互过程中所提供的显式或隐式反馈信息（例如基于模型生成结果完成下游任务的成功率和时间开销等）实现自我进化。此外，尽管自然语言处理任务通过文本生成方式基本实现了大一统的解决框架，但是能否跨越不同模态，研制同时支持图像、视频、语音和文本的大一统模型，也是一个极具挑战性的问题，业界针对这个问题已有一些尝试，但目前效果还不能令人满意。最后，文本质量评估是衡量和驱动文本生成技术研究的“尺子”和“利器”，然而当前文本质量自动评估方法可靠性不高，人工评价方法可重复性低，业界亟须探索更可信的自动评价指标与可重复的人工评价框架。
作者简介
万小军（1979-），男，博士，北京大学王选计算机研究所博士生导师，主要研究方向为自动文摘与文本生成、情感分析与语义计算、多语言与多模态NLP等。曾担任计算语言学重要国际期刊tics编委、国际会议程序委员会主席，现任CCF-NLP专委会秘书长、中国中文信息学会理事与NLGIW专委会副主任、TACL与ARR执行编委、NLE编委、JCST编委，多次担任相关领域重要国际会议(ACL、NAACL、EMNLP、EACL、AACL)高级领域主席或领域主席。荣获杰出论文奖、杰出论文奖。研制推出多款AI写作机器人，如小明、小南、小柯等，应用于多家媒体单位。