继续预训练对生成式无监督域适应有多大用处？

近期规模突破推动了强大生成式语言模型的出现，使我们能够通过将其转化为提示或指令来对各种任务进行微调。在这一格局下，无监督域适应(UDA)问题——即利用标记源域的知识来适应无标记目标域——被忽视了，近期 UDA 方法仍针对判别式分类。特别是，继续预训练(CPT)和学习域不变表示两种流行的 UDA 方法在生成式环境中被 under-explored，表明存在差距。本文我们评估了 CPT 对生成式 UDA 的实用性。我们首先进行经验评估来衡量 CPT 与强方法(促进域不变性)之间的权衡。我们进一步评估了这些好处如何延伸到不同的架构、调谐方法和数据 regime。我们随后通过研究 CPT 如何提高对目标域上分类性能来激励使用 CPT。最后，我们尝试理解 CPT 为何改善了目标域上无标记数据的分类性能。我们的发现表明，隐式地通过预测对下游任务有信息的被遮盖词来学习下游任务。我们的工作将 UDA 研究与指令调谐联系起来，为现代语言模型的更广泛适用性迈出了初始步伐。