二优于多?将二分类作为多选项问答的一种有效方法
计算与语言
2022-11-01 v1 人工智能
机器学习
摘要
我们提出了一种将多选项问答(MCQA)任务简单重构为一系列二分类的方法。MCQA任务通常通过对每个(问题,答案)对在所有对上归一化打分,然后从得分最高的对中选择答案来执行。对于n个答案选项,这等价于一个n类分类设置,其中仅有一个类(真实答案)是正确的。我们反而证明,将(问题,真实答案)分类为正例、将(问题,错误答案)分类为负例,在各种模型和数据集上都显著更有效。我们展示了所提方法在不同任务中的功效——溯因推理、常识问答、科学问答和句子补全。我们的DeBERTa二分类模型在这些任务的公开排行榜上达到了顶尖或接近顶尖的性能。所提方法的源代码可在 https://github.com/declare-lab/TEAM 获取。
引用
@article{arxiv.2210.16495,
title = {Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering},
author = {Deepanway Ghosal and Navonil Majumder and Rada Mihalcea and Soujanya Poria},
journal= {arXiv preprint arXiv:2210.16495},
year = {2022}
}