我们真的需要在训练期间进行图卷积吗？轻量级后训练图-ODE 用于高效推荐
机器学习
2024-07-30 v2 信息检索
摘要
图卷积网络 (GCN) 在训练推荐系统 (RecSys) 中的效率和可扩展性一直是持续的关注点，阻碍了其在实际应用中的部署。本文对图卷积在训练阶段是否必需提出了批判性的检视，并引入了一种创新方法：轻量级后训练图普通微分方程 (LightGODE)。我们的调查发现，GCN 的优势在测试阶段比训练阶段更为显著。基于此，LightGODE 采用一种绕过 GCN 计算密集型消息传递的新型后训练图卷积方法，并采用非参数连续图普通微分方程 (ODE) 来动态建模节点表示。该方法大幅减少训练时间，同时通过精细的后训练图卷积避免了原始训练嵌入空间的扭曲，称为嵌入偏差问题。我们在多个不同规模的真实数据集上验证了该模型，证明 LightGODE 不仅在效率和有效性方面优于基于 GCN 的模型，还显著缓解了较深图卷积层常出现的嵌入偏差问题。我们的 LightGODE 挑战了 RecSys 训练中的既定范式，表明需要重新评估图卷积的作用，可能指导未来高效大规模基于图的 RecSys 的发展。
引用
@article{arxiv.2407.18910,
title = {Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation},
author = {Weizhi Zhang and Liangwei Yang and Zihe Song and Henry Peng Zou and Ke Xu and Liancheng Fang and Philip S. Yu},
journal= {arXiv preprint arXiv:2407.18910},
year = {2024}
}
备注
Accepted to CIKM 2024