重新思考 SIGN 训练：在无一阶与二阶梯度 Lipschitz 条件下的可证明非凸加速
机器学习
2023-10-24 v1
摘要
基于符号的随机方法因仅利用符号信息进行参数更新即可获得鲁棒性能而受到关注。然而，当前基于符号方法的收敛分析依赖一阶梯度 Lipschitz 与二阶梯度 Lipschitz 的强假设，这些假设在深度神经网络训练等具有高度非光滑性的实际任务中未必成立。本文重新审视基于符号的方法，并在更现实的一阶与二阶光滑性假设下分析其收敛性。我们首先在弱一阶 Lipschitz 条件下建立基于符号方法的收敛性。受弱一阶 Lipschitz 启发，我们提出一种松弛的二阶条件，仍允许基于符号的方法实现非凸加速。基于理论结果，我们深入理解了近期提出的 LION 算法的计算优势。在分布式设定中，我们证明当使用快速通信压缩 gossip 协议时，这种非凸加速随节点数呈线性加速而保持。我们理论结果的新颖性在于其在远更弱假设下导出，从而将基于符号算法的可证明适用性扩展至更广泛的问题。
引用
@article{arxiv.2310.14616,
title = {Rethinking SIGN Training: Provable Nonconvex Acceleration without First- and Second-Order Gradient Lipschitz},
author = {Tao Sun and Congliang Chen and Peng Qiao and Li Shen and Xinwang Liu and Dongsheng Li},
journal= {arXiv preprint arXiv:2310.14616},
year = {2023}
}