学习从多个选项中进行选择
计算与语言
2023-09-13 v3
摘要
许多 NLP 任务可视为从一组选项中进行选择的问题，例如分类任务、多选问答等。文本蕴涵（TE）已被证明是处理这些选择问题的当前最优（SOTA）方法。TE 将输入文本作为前提（P），选项作为假设（H），然后通过成对建模（P, H）来处理选择问题。两个局限：第一，成对建模对其他选项无感知，这不够直观，因为人类常通过比较竞争候选来确定最佳选项；第二，成对 TE 的推理过程耗时，尤其当选项空间较大时。为处理这两个问题，本工作首先提出一种上下文化 TE 模型（Context-TE），将其他 k 个选项作为当前（P, H）建模的上下文。Context-TE 能学到更可靠的 H 决策，因其考虑了多种上下文。其次，我们提出 Parallel-TE 来加速 Context-TE，其同时学习多个选项的决策。Parallel-TE 在保持与 Context-TE 相当性能的同时显著提升了推理速度。我们的方法在三个任务（超细实体类型标注、意图检测和多选 QA）上进行了评测，这些是具有不同选项规模的典型选择问题。实验表明我们的模型取得了新的 SOTA 性能；特别地，Parallel-TE 在推理上比成对 TE 快 k 倍。我们的代码公开于 https://github.com/jiangshdd/LearningToSelect。
引用
@article{arxiv.2212.00301,
title = {Learning to Select from Multiple Options},
author = {Jiangshu Du and Wenpeng Yin and Congying Xia and Philip S. Yu},
journal= {arXiv preprint arXiv:2212.00301},
year = {2023}
}
备注
Accepted by AAAI 2023