LambdaOpt：以更细粒度学习正则化推荐模型
机器学习
2019-05-29 v1 信息检索
机器学习
摘要
推荐模型主要处理类别型变量，如用户/物品ID与属性。除高基数问题外，此类类别变量间的交互通常呈长尾分布，头部由高频值构成，长尾为稀有值。该现象导致数据稀疏问题，使得对模型正则化以保证泛化能力至关重要。常见做法是基于验证数据通过网格搜索手动调优正则化超参数。然而，搜索整个候选空间需耗费大量精力与计算资源；即便如此，也可能无法得到最优选择，因为不同参数应具有不同的正则化强度。本文提出一种超参数优化方法LambdaOpt，其在训练过程中自动且自适应地施加正则化。具体而言，它根据验证数据表现更新正则化系数。借助LambdaOpt，可避免烦琐的正则化超参数调优；更重要的是，它支持细粒度正则化（即每个参数可拥有个性化正则化系数），从而带来更佳泛化的模型。我们展示了如何将LambdaOpt应用于矩阵分解——一个代表广大推荐模型家族的经典模型。在两个公开基准上的大量实验证明了该方法在提升Top-K推荐性能上的优越性。
引用
@article{arxiv.1905.11596,
title = {LambdaOpt: Learn to Regularize Recommender Models in Finer Levels},
author = {Yihong Chen and Bei Chen and Xiangnan He and Chen Gao and Yong Li and Jian-Guang Lou and Yue Wang},
journal= {arXiv preprint arXiv:1905.11596},
year = {2019}
}
备注
Accepted by KDD 2019