中文

CREST:一种用于选择性合理化与反事实文本生成的联合框架

计算与语言 2023-05-29 v1

摘要

选择性合理化与反事实示例已成为两类有效且互补的可解释性方法,用于分析和训练NLP模型。然而,先前工作尚未探索如何将这些方法整合以结合其互补优势。我们通过引入CREST(ContRastive Edits with Sparse raTionalization,基于稀疏合理化的对比编辑)克服这一局限,这是一种用于选择性合理化与反事实文本生成的联合框架,并表明该框架可改善反事实质量、模型鲁棒性和可解释性。首先,CREST生成的有效反事实比先前方法生成的更自然,随后可用于大规模数据增强,减少对人工生成示例的需求。其次,我们引入了一种新的损失函数,利用CREST反事实来正则化选择性合理化,并表明与未利用CREST反事实的方法相比,该正则化同时改善了模型鲁棒性和合理化质量。我们的结果表明,CREST成功弥合了选择性合理化与反事实示例之间的鸿沟,解决了现有方法的局限,并提供了对模型预测的更全面的视角。

关键词

引用

@article{arxiv.2305.17075,
  title  = {CREST: A Joint Framework for Rationalization and Counterfactual Text Generation},
  author = {Marcos Treviso and Alexis Ross and Nuno M. Guerreiro and André F. T. Martins},
  journal= {arXiv preprint arXiv:2305.17075},
  year   = {2023}
}

备注

Accepted at ACL 2023 (main)