From Pretraining Data to Language Models( 五 ) _模型

? 对于，社交媒体语料库导致社会价值平均变化1.60，而新闻媒体语料库导致0.64的变化。对于经济价值，新闻和社交媒体分别产生了0.90和0.61的变化。社交媒体上的用户生成文本对LMs的社会价值有更大的影响，而新闻媒体对经济价值有更大的影响。我们推测这可以归因于报道范围的差异：尽管新闻媒体经常报道经济问题，社交媒体上的政治讨论往往更关注有争议的“文化战争”和社会问题。
在特朗普前后新闻和社交媒体是社会当前情感的及时反映，有证据表明自第45任美国总统唐纳德·特朗普当选以来，极化现象达到了有史以来的高点。为了检查我们的框架是否能够检测到公众极化情况的增加，我们在我们的党派语料库中添加了一个特朗普前后的维度，通过将6个预训练语料库进一步分成特朗普上任前和上任后的部分。然后，我们分别使用特朗普前后的语料库对和GPT-2进行了预训练。图2展示了语言模型确实捕捉到了预训练语料库中存在的增加的极化现象，导致语言模型的位置更远离中心。除了这一一般趋势之外，对于和-RIGHT语料库，特朗普上任后的语言模型在经济问题上比特朗普上任前的更左倾。对于GPT-2和NEWS-RIGHT语料库，也观察到了类似的结果。我们猜测这提供了初步证据表明语言模型也能够探测到右倾社区中关于经济问题的反建制情绪，类似于桑德斯-特朗普选民现象。
检验超党派LM的潜力由于预训练的LM可能因在党派语料库上进一步预训练而远离中心，这引发了一个对双重用途的担忧：训练一个超党派的LM，并将其用于进一步加深社会分歧。我们假设这可能通过更多的预训练和更多的党派数据来实现。为了测试这一假设，我们进一步预训练的，使用更多和更大的语料库规模，并检查在政治指南上的轨迹。图4表明，这个简单的策略并没有导致越来越党派化的LM：在经济问题上，LM保持接近中心；在社会问题上，我们观察到虽然预训练确实会导致一些变化，但使用更多的数据或更多的时期不足以将模型的分数推向10或-10的两极极端。
4.2 政治倾向与下游任务
总体性能我们比较了五个模型的性能：基本的和进一步使用-LEFT、NEWS-LEFT、-RIGHT和NEWS-RIGHT语料库进行预训练的四个模型。表3呈现了仇恨言论检测和虚假信息检测的总体性能，结果表明，左倾LM通常在性能上略优于右倾LM 。-RIGHT语料库对下游任务性能特别不利，远远落后于没有党派预训练的基本。这些结果表明，预训练语料库的政治倾向可能会对总体任务性能产生影响。
按类别性能细分除了总体性能之外，我们还研究了基于其政治偏见的党派模型在不同受众身份群体（例如女性、LGBTQ+等）和不同虚假信息来源（例如CNN、福克斯）上的性能变化。表4展示了基于其政治偏见的模型行为的显著差异。
在仇恨言论检测方面，具有左倾偏见的模型在针对广泛认可的少数群体（例如LGBTQ+和黑人）的仇恨言论方面表现更好，而具有右倾偏见的模型倾向于更好地识别针对主导身份群体（例如男性和白人）的仇恨言论。对于虚假信息检测，左倾LM对右倾媒体的虚假信息更为严格，但对来自左倾来源（如CNN和纽约时报）的虚假信息不太敏感。右倾LM表现出相反的模式。这些结果突显了对预训练数据中政治偏见放大的担忧，这些偏见随后传播到下游任务中，直接影响了模型的（不）公平性。
表5提供了进一步的定性分析和示例，说明了具有不同政治倾向的预训练LM表现出的不同行为。右倾LM忽视了关于“与亚洲人混种”的种族主义指控，而左倾LM正确地将这些情况识别为仇恨言论。此外，左倾和右倾的LM都对关于唐纳德·特朗普或伯尼·桑德斯发表的评论中的不准确信息表现出双重标准。