利用制图接种提升问答模型性能

问答模型面临复杂且开放的上下文推理问题，但往往能通过利用训练数据中特定于数据集的模式来学习性能良好的启发式求解方法。这些模式，或称“数据集伪影”，降低了模型泛化到真实世界问答问题的能力。我们利用一个为问答任务训练的 ElectraSmallDiscriminator 模型，通过一个旨在混淆依赖伪影进行预测的模型的对抗性挑战集，分析了数据集伪影的影响和发生率。在现有关于减轻伪影影响方法的工作基础上，我们提出了制图接种（Cartographic Inoculation）这一新方法，该方法在挑战数据的优化子集上微调模型，以减少模型对数据集伪影的依赖。我们证明，通过在挑战集的模糊对抗样本上有选择地微调模型，可以在整个挑战数据集上实现显著的性能提升，同时将模型对其他挑战性环境和问答数据集的泛化能力损失降至最低。