将排序系统作为Bandit进行在线优化

排序系统是现代检索与推荐系统的核心部分，其目标是根据用户上下文对候选物品进行排序。在线优化排序系统意味着已部署的系统能够服务用户请求（例如网页搜索中的查询），并通过从用户交互（例如点击）中学习来优化排序策略。Bandit是一种通用的在线学习框架，可用于我们的优化任务。然而，由于排序的独特特征，在设计用于排序系统优化的bandit算法时存在若干挑战。在本论文中，我们研究并提出了在线优化排序系统中四个挑战的解决方案：有效性、安全性、非平稳性和多样性。首先，有效性关乎算法从交互中学习的速度。我们研究了有效的在线排序器评估任务，并提出了MergeDTS算法来有效解决该问题。其次，已部署的算法应当是安全的，即算法仅向用户请求展示合理的内容。为解决安全的在线学习排序问题，我们提出了BubbleRank算法。第三，由于用户不断改变其偏好，算法应处理非平稳性。我们将此非平稳在线学习排序问题表述为级联非平稳bandit，并提出了CascadeDUCB和CascadeSWUCB算法来解决该问题。最后，排序列表中的内容应当多样化。我们考虑结果多样化任务，并提出了CascadeHybird算法，该算法在从用户交互中学习时同时考虑物品相关性和结果多样化。