推荐系统评估中默认值的隐藏成本
信息检索
2025-09-24 v2
摘要
超参数优化对提高推荐系统性能至关重要，但其实现常被视为中性或次要关注。本文将注意力从模型基准测试转向审计 RecBole 框架的行为。我们展示 RecBole 的内部默认值，特别是未记录的 early-stopping 策略，可能过早终止 Random Search 和贝叶斯优化。这以一种用户难以察觉的方式限制了搜索覆盖范围。我们使用六个模型和两个数据集，比较搜索策略并量化性能变异和搜索路径不稳定性。我们的发现表明，隐藏的框架逻辑可引入与搜索策略之间的差异相当的变异。这些结果凸显将框架视为实验设计的活跃组成部分的重要性，并呼吁在推荐系统研究中提供更透明、具可重复性的工具。我们提供可操作性建议，以缓解隐藏配置行为并提高超参数调优工作流程的透明度。
引用
@article{arxiv.2508.21180,
title = {The Hidden Cost of Defaults in Recommender System Evaluation},
author = {Hannah Berling and Robin Svahn and Alan Said},
journal= {arXiv preprint arXiv:2508.21180},
year = {2025}
}
备注
Accepted to RecSys 2025