iALS++：利用子空间优化加速矩阵分解
机器学习
2021-10-28 v1 信息检索
摘要
iALS 是一种利用交替最小二乘从隐式反馈中学习矩阵分解模型的流行算法。该算法发明于十余年前，但相较于 VAE、EASE、SLIM 或 NCF 等近期方法仍具竞争性的质量。得益于避免负采样的技术技巧，iALS 尤其在大型物品目录下非常高效。然而，由于其关于嵌入维度 d 的立方级运行时间依赖，iALS 在大型嵌入维度下扩展性不佳。已有研究提出坐标下降变体 iCD，将复杂度降至 d 的二次方。本工作中，我们表明 iCD 方法并不适合现代处理器，对于中小规模嵌入尺寸（d ~ 100）可能比精心实现的 iALS 慢一个数量级，且仅在大型嵌入 d ~ 1000 时优于 iALS。我们提出新求解器 iALS++，其结合了 iALS 在向量处理上的优势与如 iCD 般的低计算复杂度。iALS++ 在小型与大型嵌入维度下均比 iCD 快一个数量级。它甚至能在几分钟内求解 Movielens 20M 或 Million Song Dataset 等基准问题，即便使用 1000 维嵌入向量。
引用
@article{arxiv.2110.14044,
title = {iALS++: Speeding up Matrix Factorization with Subspace Optimization},
author = {Steffen Rendle and Walid Krichene and Li Zhang and Yehuda Koren},
journal= {arXiv preprint arXiv:2110.14044},
year = {2021}
}