哪些伪相关会影响 NLI 模型的推理？基于数据受限反事实的可视化交互诊断
计算与语言
2023-06-22 v1 人机交互
摘要
我们提出一个面向人在回路的仪表盘，专门用于诊断 NLI 模型预测所依赖的潜在伪特征。该仪表盘使用户能够通过借鉴 GPT-3 的建议来生成多样且具有挑战性的样例。此外，用户可以从训练好的 NLI 模型获得关于新创建样例挑战性的反馈，并基于反馈进行改进。通过我们的研究，我们发现了几类影响 NLI 模型推理的伪相关，并将其归为三类：语义相关性、逻辑谬误与偏见。基于我们的发现，我们识别并描述了多种研究机会，包括使训练数据多样化以及通过创建对抗性测试套件来评估 NLI 模型的鲁棒性。
引用
@article{arxiv.2306.12146,
title = {Which Spurious Correlations Impact Reasoning in NLI Models? A Visual Interactive Diagnosis through Data-Constrained Counterfactuals},
author = {Robin Chan and Afra Amini and Mennatallah El-Assady},
journal= {arXiv preprint arXiv:2306.12146},
year = {2023}
}
备注
7 pages, Accepted at ACL 2023: System Demonstrations