REV：自由文本理据的信息论评估
计算与语言
2023-06-05 v5
摘要
生成自由文本理据是迈向可解释 NLP 的有前景的一步，然而评估此类理据仍是一项挑战。现有指标主要侧重于衡量理据与给定标签之间的关联。我们认为，理想的指标应关注理据中独特提供的新信息，即输入或标签中未提供的信息。我们使用条件 V-信息（conditional V-information, Hewitt et al., 2021）从信息论视角研究这一问题。更具体地，我们提出了一种名为 REV（基于条件 V-信息的理据评估）的指标，用于量化理据中超出输入或标签已有信息的新颖且与标签相关的信息量。在四个包含思维链等推理任务的基准上的实验表明，与现有指标相比，REV 在评估理据-标签对方面是有效的。我们进一步证明，REV 与人类对理据评估的判断一致，并对自由文本理据中的新信息提供更敏感的度量。当与传统性能指标结合使用时，REV 为模型的推理与预测过程提供了更深入的洞察。
引用
@article{arxiv.2210.04982,
title = {REV: Information-Theoretic Evaluation of Free-Text Rationales},
author = {Hanjie Chen and Faeze Brahman and Xiang Ren and Yangfeng Ji and Yejin Choi and Swabha Swayamdipta},
journal= {arXiv preprint arXiv:2210.04982},
year = {2023}
}
备注
ACL 2023