BioTABQA：面向生物医学表格问答的指令学习
计算与语言
2022-07-07 v1 人工智能
机器学习
摘要
表格问答（TQA）是一项重要但未被充分探索的任务。现有大多数QA数据集采用非结构化文本格式，仅少数以表格作为上下文。据我们所知，在频繁使用表格呈现信息的生物医学领域尚不存在TQA数据集。本文中，我们利用22个模板和来自一本关于鉴别诊断的生物医学教科书的上下文，构建了表格问答数据集BioTABQA。BioTABQA不仅可用于教导模型如何从表格中回答问题，还可评估模型对未见问题的泛化能力，这是生物医学应用中的重要场景。为实现泛化评估，我们将模板划分为17个训练模板和5个跨任务评估模板。随后，我们在BioTABQA上采用单任务与多任务学习构建了两个基线。此外，我们探索了近期展现出优异泛化性能的指令学习技术。实验结果表明，我们的指令微调模型在各种评估设置上平均比单任务和多任务基线分别高出约23%和约6%，更重要的是，在跨任务上指令微调模型比基线高出约5%。
引用
@article{arxiv.2207.02419,
title = {BioTABQA: Instruction Learning for Biomedical Table Question Answering},
author = {Man Luo and Sharad Saxena and Swaroop Mishra and Mihir Parmar and Chitta Baral},
journal= {arXiv preprint arXiv:2207.02419},
year = {2022}
}
备注
BioASQ10 Workshop