零阶硬阈值中方差减少的新见解：缓解梯度误差与扩张性矛盾
人工智能
2026-05-19 v1 机器学习
摘要
硬阈值是机器学习中用于求解 约束优化问题的一类重要算法。然而，在特定场景下目标函数的真实梯度难以获取，通常可由零阶（ZO）方法进行近似。SZOHT算法是目前唯一利用ZO梯度处理 稀疏约束的算法。遗憾的是，由于ZO梯度偏差与硬阈值算子扩张性之间的内在冲突，SZOHT在随机方向的数量上存在显著限制。本文通过考虑方差的作用来解决这一问题，并为方差减少提供了新见解：缓解ZO梯度与硬阈值之间的独特冲突。在此视角下，我们提出了一种广义的方差减少ZO硬阈值算法，并在标准假设下给出了广义收敛分析。理论结果表明，新算法消除了对随机方向数量的限制，与SZOHT相比具有更好的收敛速率和更广的适用性。最后，我们在岭回归问题及黑盒对抗攻击中验证了本方法的实用性。
引用
@article{arxiv.2605.18035,
title = {New Insight of Variance reduce in Zero-Order Hard-Thresholding: Mitigating Gradient Error and Expansivity Contradictions},
author = {Xinzhe Yuan and William de Vazelhes and Bin Gu and Huan Xiong},
journal= {arXiv preprint arXiv:2605.18035},
year = {2026}
}
备注
Published as a conference paper at ICLR 2024. 9 pages main paper, 24 pages appendix, 11 figures, 7 tables. Correspondence to Bin Gu and Huan Xiong