结构化列表支撑的问答
计算与语言
2024-10-08 v1
摘要
文档支撑的对话系统旨在通过利用外部信息来回答用户查询。以往的研究主要集中于处理自由格式文档，往往忽略了结构化数据（如列表），而列表可以表示一系列细微的语义关系。受观察到即使是像GPT-3.5这样的先进语言模型也经常遗漏列表中的语义线索这一现象的启发，本文旨在增强问答系统，使其更好地解释和使用结构化列表。为此，我们引入了LIST2QA数据集，这是一个新颖的基准，用于评估问答系统有效利用列表信息进行响应的能力。该数据集是使用语言模型和基于模型的过滤过程从未标记的客户服务文档中创建的，以提高数据质量，并可用于微调和评估问答模型。除了通过微调模型直接生成响应外，我们进一步探索了显式使用列表中间步骤的方法，将列表项与用户背景对齐，以更好地反映人类在生成响应之前如何解释列表项。我们的实验结果表明，在LIST2QA上使用我们的ISL方法训练的模型在各种指标上均优于基线。具体来说，与未应用过滤和所提出的ISL方法的模型相比，我们微调的Flan-T5-XL模型在ROUGE-L、正确性、忠实度和完整性上分别提高了3.1%、4.6%、4.5%和20.6%。
引用
@article{arxiv.2410.03950,
title = {Structured List-Grounded Question Answering},
author = {Mujeen Sung and Song Feng and James Gung and Raphael Shu and Yi Zhang and Saab Mansour},
journal= {arXiv preprint arXiv:2410.03950},
year = {2024}
}