深度排序系统中单调校准预测的无约束方法
信息检索
2025-04-22 v1
摘要
排序模型主要关注预测的相对顺序，往往忽视其绝对值准确性的重要性。然而，准确的绝对值对于某些下游任务至关重要， necessitating 对原始预测进行校准以满足这一需求。现有的校准方法通常采用具有顺序保持性的预定义转换函数来调整原始预测。然而，这些函数往往受限于固定形式（如分段线性函数），其表达力和灵活性有限，在复杂校准场景中效果受限。为缓解此问题，我们提出使用无约束单调神经网络（Unconstrained Monotonic Neural Network, UMNN）实现校准器，该网络能够学习具有强大建模能力的任意单调函数。这一方法显著放宽了校准器的约束，提高了其灵活性和表达力，同时通过要求单调性避免对原始预测过度扭曲。为优化这一高度灵活的网络进行校准，我们引入新的损失函数Smooth Calibration Loss（SCLoss），旨在实现理想校准状态的必要条件。大量离线实验确认了本方法在实现卓越校准性能方面的有效性。此外，部署于快手的大规模在线视频排序系统表明，校准改进可转化为提升业务指标。代码已公开于 https://github.com/baiyimeng/UMC。
引用
@article{arxiv.2504.14243,
title = {Unconstrained Monotonic Calibration of Predictions in Deep Ranking Systems},
author = {Yimeng Bai and Shunyu Zhang and Yang Zhang and Hu Liu and Wentian Bao and Enyun Yu and Fuli Feng and Wenwu Ou},
journal= {arXiv preprint arXiv:2504.14243},
year = {2025}
}
备注
Accepted by SIGIR'25