针对完全非同步方向导数估计的对抗鲁棒学习
机器学习
2026-05-12 v1 最优化与控制
摘要
我们提出了FAR-SIGN（Fully Asynchronous Robust optimization via SIGNed directional projections）用于参数服务器-工作者系统中的对抗鲁棒学习。FAR-SIGN通过沿精心设计的方向上的基于符号更新来实现鲁棒性，并通过双时间尺度机制来缓解所致的偏差。它既支持一阶实现，也支持零阶实现，并且允许完全非同步执行，而无需在服务器端设置私有参考数据集。我们证明了FAR-SIGN对于光滑非凸目标，几乎sure地收敛于平稳点的集合。此外，我们证明了在一阶设置下以近最优速率 收敛，以及在零阶设置下采用标准速率 ，其中 为迭代计数，可任意小。在MNIST数据集上的实验表明，FAR-SIGN在准确率和墙钟时间方面均优于基于鲁棒聚合的方法。
引用
@article{arxiv.2605.09337,
title = {Adversary-Robust Learning from Fully Asynchronous Directional Derivative Estimates},
author = {Anik Kumar Paul and Nibedita Roy and Nagesh Talagani and Swetha Ganesh and Gugan Thoppe and Alexandre Reiffers-Masson},
journal= {arXiv preprint arXiv:2605.09337},
year = {2026}
}