ER-Test：面向语言模型的解释正则化方法评估
计算与语言
2023-03-01 v3
摘要
通过解释人类如何解决给定任务，人类原理可以为神经语言模型（LM）提供强大的学习信号。解释正则化（ER）旨在通过推动LM的机器原理（LM关注了哪些输入词元？）与人类原理（人类会关注哪些输入词元？）相对齐，从而改善LM的泛化能力。尽管先前工作主要通过分布内（ID）评估来研究ER，但分布外（OOD）泛化在真实场景中往往更为关键，而ER对OOD泛化的影响尚未得到充分探索。在本文中，我们引入ER-Test，一个沿三个维度评估ER模型OOD泛化的框架：未见数据集测试、对比集测试和功能测试。利用ER-Test，我们广泛分析了不同ER设计选择下ER模型的OOD泛化变化。在两个任务和六个数据集上，ER-Test表明ER对ID性能影响甚微，但可带来较大的OOD性能提升。此外，我们发现即使仅有有限的原理监督，ER也能改善OOD性能。ER-Test的结果有助于证明ER的效用，并确立有效使用ER的最佳实践。
引用
@article{arxiv.2205.12542,
title = {ER-Test: Evaluating Explanation Regularization Methods for Language Models},
author = {Brihi Joshi and Aaron Chan and Ziyi Liu and Shaoliang Nie and Maziar Sanjabi and Hamed Firooz and Xiang Ren},
journal= {arXiv preprint arXiv:2205.12542},
year = {2023}
}
备注
Findings of EMNLP 2022