CREST:一种用于选择性合理化与反事实文本生成的联合框架
计算与语言
2023-05-29 v1
摘要
选择性合理化与反事实示例已成为两类有效且互补的可解释性方法,用于分析和训练NLP模型。然而,先前工作尚未探索如何将这些方法整合以结合其互补优势。我们通过引入CREST(ContRastive Edits with Sparse raTionalization,基于稀疏合理化的对比编辑)克服这一局限,这是一种用于选择性合理化与反事实文本生成的联合框架,并表明该框架可改善反事实质量、模型鲁棒性和可解释性。首先,CREST生成的有效反事实比先前方法生成的更自然,随后可用于大规模数据增强,减少对人工生成示例的需求。其次,我们引入了一种新的损失函数,利用CREST反事实来正则化选择性合理化,并表明与未利用CREST反事实的方法相比,该正则化同时改善了模型鲁棒性和合理化质量。我们的结果表明,CREST成功弥合了选择性合理化与反事实示例之间的鸿沟,解决了现有方法的局限,并提供了对模型预测的更全面的视角。
引用
@article{arxiv.2305.17075,
title = {CREST: A Joint Framework for Rationalization and Counterfactual Text Generation},
author = {Marcos Treviso and Alexis Ross and Nuno M. Guerreiro and André F. T. Martins},
journal= {arXiv preprint arXiv:2305.17075},
year = {2023}
}
备注
Accepted at ACL 2023 (main)