澄清面生成中训练目标的比较研究
信息检索
2023-10-03 v1
摘要
由于用户查询存在模糊性和歧义性,识别查询面以澄清用户意图至关重要。现有的查询面生成工作基于 BART 等预训练语言生成模型,通过给定已生成面顺序预测下一面,取得了引人注目的性能。给定一个查询,主要有两类训练目标来引导面生成模型:一是生成默认顺序的地面真值面序列,二是枚举地面真值面的所有排列并使用损失最小的序列进行模型更新。后者具有排列不变性而前者不具备。本文旨在对各类训练目标进行系统的比较研究,这些目标具有不同的性质,不仅包括是否具有排列不变性,还包括是否进行顺序预测以及是否能控制输出面的数量。为此,我们提出另外三种具有上述不同性质的训练目标。为全面比较,除常用的衡量与地面真值面匹配程度的评估外,我们还引入两个多样性指标来衡量生成面的多样性。基于开放域查询面数据集 MIMICS,我们进行了广泛分析并展示了每种方法的优缺点,可为澄清面生成的模型训练提供启示。代码见 \url{https://github.com/ShiyuNee/Facet-Generation}。
引用
@article{arxiv.2310.00703,
title = {A Comparative Study of Training Objectives for Clarification Facet Generation},
author = {Shiyu Ni and Keping Bi and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:2310.00703},
year = {2023}
}