逐次基于理据产生（反事实）差异
计算与语言
2022-01-17 v1 机器学习
摘要
理据（rationales），即解释推理过程的提取文本片段，已成为可解释自然语言处理（NLP）的一种流行框架。理据模型通常由两个协作模块组成：一个选择器和一个分类器，其目标是最大化“选中”文本与文档标签之间的互信息（MMI）。尽管前景广阔，但基于 MMI 的方法往往会捕捉到虚假的文本模式，并导致模型出现无意义的行为。在本研究中，我们探讨了在无人工辅助的情况下，反事实数据增强（CDA）能否通过降低虚假信号与文档标签之间的互信息来提升选择器的性能。我们的反事实样本是使用类相关生成模型以无监督方式生成的。从信息论视角，我们推导了未增强数据集应满足的性质，在此性质下我们的 CDA 方法将取得成功。我们通过在两个多方面数据集上与多个基线（包括一种改进的基于 MMI 的理据模式）进行比较，实证评估了 CDA 的有效性。结果表明，CDA 生成的理据能更好地捕捉目标信号。
引用
@article{arxiv.2201.05177,
title = {Making a (Counterfactual) Difference One Rationale at a Time},
author = {Mitchell Plyler and Michael Green and Min Chi},
journal= {arXiv preprint arXiv:2201.05177},
year = {2022}
}