MGR：基于多生成器的合理化
计算与语言
2023-06-23 v2
摘要
合理化旨在采用一个生成器和一个预测器构建自解释 NLP 模型，其中生成器从输入文本中选取子集供后续预测器使用，且选取部分为人类可理解片段。然而，合理化面临两个关键挑战，即伪相关与退化：预测器过拟合仅由尚未训练充分的生成器选出的伪相关或无意义片段，进而恶化生成器。尽管已有诸多研究分别应对这两大挑战，但它们通常独立设计，未同时加以考虑。本文提出一种简单而有效的方法 MGR，以同时解决这两个问题。MGR 的核心思想是采用多个生成器，从而提升真实片段的出现稳定性，并向预测器输送更有意义的片段。实证表明，与最先进方法相比，MGR 的 F1 分数提升高达 20.9%。代码见 https://github.com/jugechengzi/Rationalization-MGR。
引用
@article{arxiv.2305.04493,
title = {Token-Level Fitting Issues of Seq2seq Models},
author = {Guangsheng Bao and Zhiyang Teng and Yue Zhang},
journal= {arXiv preprint arXiv:2305.04493},
year = {2023}
}
备注
Accepted by ACL 2023 Workshop on RepL4NLP, 9 pages