中文

一次性前向:面向高效云协调设备端推荐的结构参数化自适应

分布式、并行与集群计算 2025-01-07 v1 人工智能 信息检索

摘要

在以云为中心的推荐系统中,用户设备与云之间的定期数据交换可能会增加带宽需求和隐私风险。设备端推荐通过在本地执行重排序来缓解这些问题,成为一种可行的解决方案。现有方法主要关注开发局部自适应参数,而可能忽视了定制模型架构的关键作用。来自更广泛研究领域的见解表明,不同的数据分布可能偏好不同的架构以获得更好的拟合。此外,在异构设备上施加统一的模型结构可能导致在能力较弱的设备上效果不佳,或在能力充足的设备上性能次优。针对这些不足,本文引入了Forward-OFA,一种动态构建设备特定网络(结构和参数)的新方法。Forward-OFA采用结构控制器选择性决定每个块是否需要为给定设备组装。然而,在训练结构控制器时,这些组装的异构结构被联合优化,块之间的协同适应可能遇到梯度冲突。为缓解这一问题,Forward-OFA被设计为建立一种结构引导的实时行为到组装网络参数的映射。映射器中的结构相关参数和并行组件防止每个部分接收来自其他部分的异构梯度,从而避免了耦合优化中的梯度冲突。此外,直接映射使Forward-OFA仅通过一次前向传播即可实现自适应,从而能够快速适应变化的兴趣,并消除了设备端反向传播的需求。在真实世界数据集上的实验证明了Forward-OFA的有效性和效率。

关键词

引用

@article{arxiv.2501.02837,
  title  = {Forward Once for All: Structural Parameterized Adaptation for Efficient Cloud-coordinated On-device Recommendation},
  author = {Kairui Fu and Zheqi Lv and Shengyu Zhang and Fan Wu and Kun Kuang},
  journal= {arXiv preprint arXiv:2501.02837},
  year   = {2025}
}

备注

Accepted by KDD 2025