澄清性问题对对话式搜索中文档排序影响的分析

近期关于对话式搜索的研究凸显了对话中混合主动性的重要性。为实现混合主动性，系统应能够向用户提出澄清性问题。然而，支撑对话式搜索的底层排序模型在大规模文档排序时，对这类澄清性问题及回答的考量能力尚未得到分析。为此，我们在一个含澄清性问题的对话式搜索数据集上，分析了一个词法排序模型的性能。我们从定量与定性两方面考察了澄清性问题及用户回答的不同方面如何影响排序质量。我们认为，基于此类混合主动性场景中存在的显式反馈，需要对整个澄清对话轮次进行某种细粒度处理。受我们的发现启发，我们引入了一个简单的基于启发式的词法基线，其显著优于现有的朴素基线。我们的工作旨在增进对该特定任务中所存挑战的理解，并为设计更合适的对话式排序模型提供指导。