通过更简单的合成任务洞察预训练

预训练产生的表示对广泛的下游任务有效，但预训练的哪些性质是取得有效增益所必需的仍不清楚。值得注意的是，近期研究表明，即使在合成任务上预训练也能在下游任务中取得显著增益。在本工作中，我们进行了三个逐步简化预训练的实验，表明这些简化仍保留了其大部分增益。首先，基于先前工作，我们对六种下游任务上的三种现有合成预训练方法进行了系统评估。我们发现最佳的合成预训练方法 LIME 达到了自然预训练平均 $67\%$ 的增益。其次，令我们惊讶的是，我们发现在一个由 Set 函数定义的简单通用合成任务上预训练可达到 $65\%$ 的增益，几乎与 LIME 持平。第三，我们发现仅使用合成预训练的参数统计即可获得 $39\%$ 的增益。我们在 https://github.com/felixzli/synthetic_pretraining 发布了源代码。