摘要的预训练需要知识迁移吗？

利用海量数据集的预训练技术推动了文本摘要的最新进展。虽然通俗的解释认为知识迁移是预训练收益的原因，但关于其为何有效或何种预训练任务或数据集是合适的，人们知之甚少。在本文中，我们对知识迁移的说法提出挑战，表明在由随机选取的字符 n-gram 组成的文档上进行预训练，我们几乎可以匹敌在真实语料库上预训练的模型的性能。这项工作有望消除上游语料库，这可能有助于缓解对冒犯性语言、偏见和版权问题的担忧。为了探究使用真实数据的微小残余收益是否可以归因于预训练任务的结构，我们基于对摘要语料库的定性研究设计了若干任务。然而，这些任务并未带来明显的收益，从而留下了知识迁移发挥微小作用的可能性。