大语言模型可准确预测搜索者偏好

相关性标签指示搜索结果对搜索者是否有价值，是评估和优化搜索系统的关键。获取用户真实偏好最佳方式是请其仔细反馈哪些结果有用，但该方法无法规模化产生大量标签。规模化获取相关性标签通常通过第三方标注者代替用户判断，但若标注者不理解用户需求则存在低质量数据风险。为提高质量，一种标准方法是借助访谈、用户研究和直接反馈研究真实用户，找出标签与用户系统性不一致之处，再通过判断指南、培训与监控让标注者了解用户需求。本文提出一种改进标签质量的替代方法。它利用真实用户的仔细反馈（按定义为可得到的最高质第一方金标准数据），并开发与该数据一致的大语言模型提示。我们呈现了在Bing部署语言模型进行大规模相关性标注的想法与观察，并以TREC数据说明。我们发现大语言模型可很有效，准确率媲美人类标注者，且具备挑选最难查询、最佳运行与最佳组的相似能力。对提示的系统性改动会影响准确率，简单改写亦如此。衡量与真实搜索者的一致性需要高质量“金”标签，但有了这些标签我们发现模型产出的标签优于第三方工作者，且成本仅为其一小部分，这些标签让我们训练出明显更优的排序器。