信息检索的课程学习策略：对话响应排序的实证研究
信息检索
2019-12-19 v1 计算与语言
机器学习
摘要
神经排序模型传统上在一系列随机批次上训练，这些批次从整个训练集中均匀采样。课程学习最近被证明可通过非均匀采样批次、在训练期间从易到难地行进来提高神经模型的效果。在神经信息检索（IR）的背景下，课程学习尚未被探索，因此仍不清楚（1）如何度量训练实例的难度，以及（2）如何在训练期间从易到难地过渡。为解决这两大挑战并确定课程学习是否有利于神经排序模型，我们需要大规模数据集以及一个允许我们进行广泛实验的检索任务。为此，我们诉诸于对话响应排序任务：给定对话历史对响应进行排序。为应对挑战（1），我们探索基于不同输入空间度量对话难度的打分函数。为应对挑战（2），我们评估了不同的步速函数，其决定了我们从易到难实例行进的速度。我们发现，总体而言，仅通过智能地排序训练数据（即执行课程学习），我们便可将检索效果提高多达 2%。
引用
@article{arxiv.1912.08555,
title = {Curriculum Learning Strategies for IR: An Empirical Study on Conversation Response Ranking},
author = {Gustavo Penha and Claudia Hauff},
journal= {arXiv preprint arXiv:1912.08555},
year = {2019}
}
备注
Accepted for publication in the 42nd European Conference on Information Retrieval (ECIR'20)