语言知识可以增强编码器-解码器模型（如果你让它这么做）

本文探讨了将语言知识增强的预训练编码器-解码器模型（具体为 T5）用于预测目标任务的影响。具体而言，我们研究了在预测句子结构语言属性的中间任务上微调 T5 模型是否会修改其在预测句子水平复杂度这一目标任务中的性能。我们的研究涵盖了在意大利语和英文数据集上进行的多种实验，采用单语言和多语言 T5 模型，模型大小各不相同。对于两种语言以及跨语言配置的结果表明，以语言为导向的中间微调通常会对目标任务性能产生积极影响，尤其是在应用于较小的模型和数据有限的场景时效果更为显著。