基于结构损失的交互式模型用于语言溯因推理
计算与语言
2022-12-21 v2 人工智能
摘要
溯因自然语言推理任务（NLI）旨在推断原因与事件之间最合理的解释。在 NLI 任务中，给定两个观察，要求从候选中选出最合理的假设。现有方法分别对每个候选假设建模，并对推理网络进行均匀惩罚。本文认为，无需区分正确假设之间的推理能力；类似地，所有错误假设在解释观察原因时的贡献相同。因此，本文提出对假设进行分组而非排序，并设计了一种称为“联合softmax焦点损失”的结构损失。基于假设通常在语义上相关的观察，我们设计了一种新颖的交互式语言模型，旨在利用竞争假设之间的丰富交互。我们将这一用于 NLI 的新模型命名为：基于结构损失的交互式模型（IMSL）。实验结果表明，我们的 IMSL 在 RoBERTa-large 预训练模型上取得了最高性能，ACC 和 AUC 结果分别提升了约 1% 和 5%。
引用
@article{arxiv.2112.00284,
title = {Interactive Model with Structural Loss for Language-based Abductive Reasoning},
author = {Linhao Li and Ming Xu and Yongfeng Dong and Xin Li and Ao Wang},
journal= {arXiv preprint arXiv:2112.00284},
year = {2022}
}
备注
The paper is under consideration at Pattern Recognition Letters