野外自我合理化：对 NLI 相关任务的大规模分布外评估
计算与语言
2025-02-10 v1
摘要
自由文本解释表达力强且易于理解，但许多数据集缺乏标注的解释数据，这使得训练可解释预测的模型变得困难。为了解决这个问题，我们研究了如何利用现有的解释数据集进行自我合理化，并评估模型的分布外（Out-of-Distribution, OOD）性能。我们微调了 T5-Large 和 OLMo-7B 模型，并评估了微调数据质量、微调样本数量以及少样本选择方法的影响。这些模型在 19 个不同的 OOD 数据集上进行了评估，涉及三项任务：自然语言推理（Natural Language Inference, NLI）、事实验证和抽象摘要中的幻觉检测。对于生成的解释评估，我们对 13 个选定的模型进行了人类研究，并研究了其与可接受性分数（T5-11B）以及其他三个基于 LLM 的无参考指标的相关性。人类评估表明，可接受性分数与人类判断的相关性最强，证明了其在评估自由文本解释方面的有效性。我们的发现揭示了：1) 少量标注样本能有效使模型适应 OOD 解释生成；2) 与样本选择策略相比，微调数据源对 OOD 性能的影响更大；3) 标签预测准确率更高的模型往往能产生更好的解释，这体现在更高的可接受性分数上。
引用
@article{arxiv.2502.04797,
title = {Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks},
author = {Jing Yang and Max Glockner and Anderson Rocha and Iryna Gurevych},
journal= {arXiv preprint arXiv:2502.04797},
year = {2025}
}
备注
Accepted at TACL; pre-MIT Press publication version