在线紧致凸化因子分解机

因子分解机（Factorization Machine, FM）是一种具有强大特征工程能力的监督学习方法。它在各种批学习任务（所有训练数据在训练前均可用）中取得了最先进的性能。然而，在现实应用中数据以流形式顺序到达时，批学习算法重新训练的高成本给在线学习场景带来了巨大挑战。首要挑战是现有 FM 公式均无法满足在线凸优化（Online Convex Optimization, OCO）——在线学习算法设计的首要框架——的要求。为解决上述挑战，我们发明了一种新的凸化方案，得到紧致凸化因子分解机（Compact Convexified FM, CCFM），无缝满足 OCO 要求。然而，对于在线学习环境下的紧致凸化因子分解机（CCFM）学习，多数现有算法受限于昂贵的投影操作。为解决此后续挑战，我们遵循在线条件梯度的一般无投影算法框架，提出在线紧致凸因子分解机（Online Compact Convex Factorization Machine, OCCFM）算法，以高效线性优化步骤规避投影操作。为从理论基础上支持所提 OCCFM，我们证明了该算法达到次线性遗憾界。为评估 OCCFM 的实证性能，我们在 6 个真实数据集上针对在线推荐与二分类任务进行了大量实验。实验结果表明 OCCFM 优于最先进的在线学习算法。