用于溯因自然语言推理的极简性能预测方法

溯因自然语言推理（\alpha{}nli）任务旨在判断哪个假设是一组观察结果更可能的解释，是一种特别困难的自然语言推理（NLI）类型。它不仅需要确定因果关系，还需要借助常识来评估解释的合理程度。近期所有具有竞争力的系统都基于上下文表示构建，并利用 transformer 架构来学习 NLI 模型。当面对特定 NLI 任务时，使用者需要选择可用的最佳模型，这是一项耗时且耗费资源的工作。为解决这一实际问题，我们提出了一种无需实际微调模型即可预测性能的简单方法。具体做法是：仅使用余弦相似度比较句子嵌入，来测试预训练模型在 \alpha{}nli 任务上的表现，并与在这些嵌入之上训练分类器所达到的性能进行对比。我们表明，余弦相似度方法的准确率与分类方法的准确率高度相关，皮尔逊相关系数为 0.65。由于在给定数据集上计算相似度的速度要快几个数量级（不到一分钟对比数小时），我们的方法可在模型选择过程中显著节省时间。