面向表格与文本的参数高效抽象式问答
计算与语言
2023-07-12 v1 人工智能
摘要
信息寻求型问答系统的一个长期目标是能够对多模态上下文进行推理，并针对用户查询生成自然答案。如今，内存密集型的预训练语言模型通过在特定模态（如非结构化文本或结构化表格）的问答数据上进行微调，以适应下游问答任务。为避免训练此类内存消耗巨大的模型，同时为每种模态采用统一的架构，参数高效的适配器在 Transformer 层之间添加并训练小型任务特定的瓶颈层。本文研究了在结构化表格数据和非结构化文本数据上，编码器-解码器模型仅使用每种模态额外 1.5% 的参数进行参数高效抽象式问答。我们还对编码器和解码器模块中的适配器层进行了消融研究，以探讨效率与性能的权衡，并证明将额外可训练参数降至 0.7%-1.0% 可获得具有可比性的结果。我们的模型在 Tablesum 和 FeTaQA 等表格问答数据集上优于当前最先进的模型，并在 NarrativeQA 等文本问答数据集上使用远少于微调的可训练参数，取得了具有可比性的性能。
引用
@article{arxiv.2204.03357,
title = {Parameter-Efficient Abstractive Question Answering over Tables or Text},
author = {Vaishali Pal and Evangelos Kanoulas and Maarten de Rijke},
journal= {arXiv preprint arXiv:2204.03357},
year = {2023}
}
备注
Published in Dialdoc Workshop at ACL 2022