引导学习者：基于 Token 归因相似性控制 Product of Experts 去偏方法
计算与语言
2023-02-07 v1
摘要
近年来提出了若干通过缓解数据集偏差来改善分布外 (OOD) 性能的方案。一种流行的变通方法是利用次级偏置模型对训练样本重新加权，从而训练一个鲁棒模型。此处的基本假设是，偏置模型依赖于捷径特征。因此，被偏置模型正确预测的训练样本被标记为有偏，并在主模型的训练过程中被降权。然而，仅基于偏置模型的预测来评估实例的重要性可能过于天真。主模型的预测可能源于另一种不同于偏置模型行为的决策过程。为规避此问题，我们引入了一种微调策略，将主模型和偏置模型的归因分数之间的相似性纳入 Product of Experts (PoE) 损失函数中，以进一步改善 OOD 性能。通过在自然语言推理和事实验证基准上进行的实验，我们表明我们的方法在保持分布内 (ID) 性能的同时改善了 OOD 结果。
引用
@article{arxiv.2302.02852,
title = {Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities},
author = {Ali Modarressi and Hossein Amirkhani and Mohammad Taher Pilehvar},
journal= {arXiv preprint arXiv:2302.02852},
year = {2023}
}
备注
Accepted to EACL 2023 (main conference)