基于元权重调节器的自适应文本匹配

神经文本匹配模型已被用于问答和自然语言推理等一系列应用中，并取得了良好性能。然而，这些神经模型的自适应能力有限，当遇到来自不同数据集甚至不同任务的测试样本时，性能会下降。这种自适应能力在小样本场景下尤为重要：在许多情况下，目标数据集或任务仅有少量标注数据可用，而我们可能拥有标注丰富的源数据集或任务。然而，将在丰富源数据上训练的模型适配到小样本目标数据集或任务具有挑战性。为应对这一挑战，我们提出了一种元权重调节器（MWR），这是一种元学习方法，学习根据源样本与目标损失的相关性为其分配权重。具体而言，MWR首先在均匀加权的源样本上训练模型，并通过损失函数衡量模型在目标样本上的效能。通过迭代执行（元）梯度下降，高阶梯度被传播至源样本。这些梯度随后用于更新源样本的权重，更新方式与目标性能相关。由于MWR与模型无关，它可应用于任何骨干神经模型。我们在四个广泛使用的数据集和两个任务上，使用多种骨干文本匹配模型进行了大量实验。结果表明，我们提出的方法显著优于多种现有自适应方法，有效提升了神经文本匹配模型在小样本场景下的跨数据集和跨任务自适应能力。