通过检索建模长形式问答中的举例说明
计算与语言
2022-05-20 v1
摘要
举例说明是作者通过提供示例来解释或阐明概念的过程。尽管在各种写作形式中都很常见，举例说明在长形式问答（LFQA）任务中尤为有用，因为复杂的答案可以通过简单示例变得更容易理解。本文首次对问答中的举例说明进行计算研究，对三个语料库中不同类型的示例（例如假设情形、轶事）进行了细粒度标注。我们表明，最先进的 LFQA 模型不仅难以生成相关示例，而且 ROUGE 等标准评价指标不足以判断举例说明的质量。我们提出将举例说明视为一个检索问题，其中部分写好的答案被用于查询从语料库中提取的大量人工书写的示例。我们的方法提供了一种可靠的排序型自动指标，其与人工评价相关性良好。人工评价显示，我们模型检索到的示例比最先进 LFQA 模型生成的示例更相关。
引用
@article{arxiv.2205.09278,
title = {Modeling Exemplification in Long-form Question Answering via Retrieval},
author = {Shufan Wang and Fangyuan Xu and Laure Thompson and Eunsol Choi and Mohit Iyyer},
journal= {arXiv preprint arXiv:2205.09278},
year = {2022}
}
备注
2022 Annual Conference of the North American Chapter of the Association for Computational Linguistics