Mini-Hes：一种可并行化的二阶潜在因子分析模型
机器学习
2024-02-20 v1 人工智能
机器学习
摘要
在许多大数据相关任务中，大量实体之间的相互作用天然是高维且不完整的（HDI）。用户的行为特征隐藏在这些相互作用中，因此，有效表示 HDI 数据是理解用户行为的基本任务。潜在因子分析（LFA）模型已被证明能有效表示 HDI 数据。LFA 模型的性能很大程度上依赖于其训练过程，这是一个非凸优化问题。已证明，在训练过程中结合局部曲率和预处理梯度，可以比基于一阶方法构建的 LFA 模型获得更优越的性能。然而，随着数据量的增加，二阶算法的可行性面临挑战。为解决这一关键问题，本文提出了一种用于构建 LFA 模型的迷你块对角无海森（Mini-Hes）优化方法。它基于对 LFA 模型海森矩阵的分析，利用广义高斯 - 牛顿矩阵中的主导对角块，作为弥合一阶和二阶优化方法之间差距的中间策略。实验结果表明，使用 Mini-Hes 的 LFA 模型在多个来自推荐系统的真实 HDI 数据集上解决缺失数据估计任务时，优于几种最先进（SOTA）的模型。（Mini-Hes 的源代码可在 https://github.com/Goallow/Mini-Hes 获取）
引用
@article{arxiv.2402.11948,
title = {Mini-Hes: A Parallelizable Second-order Latent Factor Analysis Model},
author = {Jialiang Wang and Weiling Li and Yurong Zhong and Xin Luo},
journal= {arXiv preprint arXiv:2402.11948},
year = {2024}
}
备注
6 pages