一类随机分量软裁剪方案的分析
最优化与控制
2024-06-25 v1
摘要
选择在给定机器学习问题上表现最佳的优化算法往往是棘手的，且无法保证当前最先进的算法在所有任务上都能表现良好。因此，手头更可靠的方法越多，获得良好结果的可能性就越大。为此，我们引入并分析了一大类称为软裁剪的随机方案，具有广泛的应用前景。尽管在实际中广泛采用了裁剪技术，但软裁剪方法在文献中鲜有深入分析。特别是缺乏对一般非线性情况下的严格数学分析。我们的分析为此类方案提供了理论基础，并激励了其使用。特别是在目标函数梯度满足 Lipschitz 连续性假设的条件下，我们给出了对凸情况和非凸情况下的收敛于期望值的严格证明，包括收敛率，以及在非凸情况下的稳态点几乎收敛。所分析方案的计算成本基本与随机梯度下降相同。
关键词
引用
@article{arxiv.2406.16640,
title = {Analysis of a Class of Stochastic Component-Wise Soft-Clipping Schemes},
author = {Måns Williamson and Monika Eisenmann and Tony Stillfjord},
journal= {arXiv preprint arXiv:2406.16640},
year = {2024}
}