面向表现性预测的裁剪SGD算法：裁剪偏差的紧界与补救措施

本文研究了具有决策依赖数据分布的裁剪随机梯度下降（SGD）算法的收敛性。我们的设置受到与表现性数据交互的隐私保护优化算法的启发，其中预测模型可以影响未来结果。这一具有挑战性的设置涉及非光滑裁剪算子和由于分布偏移导致的非梯度动力学。我们为使用裁剪SGD算法寻求表现性稳定解做出了两项贡献。首先，我们通过投影裁剪SGD（PCSGD）算法刻画了由裁剪算子引起的裁剪偏差，该偏差阻止PCSGD达到稳定解。当损失函数强凸时，我们量化了该裁剪偏差的下界和上界，并展示了数据分布敏感性导致的偏差放大现象。当损失函数非凸时，我们给出了平稳性偏差的界。其次，我们提出了补救措施来减轻偏差，要么通过为PCSGD设计最优步长，要么应用最近的DiceSGD算法[Zhang et al., 2024]。我们的分析还扩展到表明后一种算法在表现性设置中没有裁剪偏差。数值实验验证了我们的发现。