AutoRank：面向启用 LoRA 的分布式学习的基于 MCDA 的秩个性化
机器学习
2024-12-23 v1 分布式、并行与集群计算
摘要
随着数据量的快速膨胀，分布式机器学习已成为应对现代 AI 系统日益增长的计算需求的关键。然而，在分布式环境中训练模型极具挑战性，因为各参与方持有倾斜的、非独立同分布数据。低秩适应通过个性化低秩更新而非优化整个模型，为这一问题提供了有前景的解决方案；启用 LoRA 的分布式学习最小化了计算开销并最大化了每个参与方的个性化程度，从而在分布式学习环境中实现了更鲁棒和高效的训练，尤其是在大规模异构系统中。尽管当前最先进的方法具有诸多优势，但它们通常需要手动配置初始秩，随着参与方数量的增加，这变得越来越不切实际。这种手动调参不仅耗时，而且容易导致次优配置。为了解决这一局限性，我们提出了 AutoRank，一种受偏差-方差权衡启发的自适应秩设置算法。AutoRank 利用 MCDA 方法 TOPSIS，根据每个参与方数据的复杂性动态分配局部秩。通过我们提出的数据复杂性指标评估数据分布和复杂性，AutoRank 对每个参与方局部 LoRA 模型的秩进行细粒度调整。这种自适应方法有效缓解了双重不平衡、非独立同分布数据带来的挑战。实验结果表明，AutoRank 在高度异构的联邦学习环境中显著降低了计算开销，提升了模型性能，并加速了收敛。凭借其强大的适应性，AutoRank 为分布式机器学习提供了可扩展且灵活的解决方案。
引用
@article{arxiv.2412.15553,
title = {AutoRank: MCDA Based Rank Personalization for LoRA-Enabled Distributed Learning},
author = {Shuaijun Chen and Omid Tavallaie and Niousha Nazemi and Xin Chen and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2412.15553},
year = {2024}
}