非光滑隐式微分：确定性与随机收敛速率

我们研究了高效计算参数化不可微收缩映射不动点导数的问题。该问题在机器学习中有广泛的应用，包括超参数优化、元学习和数据投毒攻击。我们分析了两种流行的方法：迭代微分 (ITD) 和近似隐式微分 (AID)。非光滑背景下的一个关键挑战是链式法则不再成立。我们基于 Bolte et al. (2022) 的工作，他们在分段 Lipschitz 平滑假设下证明了非光滑 ITD 的线性收敛性。在确定性情形下，我们为 AID 提供了线性收敛速率，并为 ITD 提供了改进的线性收敛速率，这些速率与光滑情形下的速率紧密匹配。我们进一步引入了 NSID，这是一种新的随机方法，用于在收缩映射被定义为外映射和内映射的复合，且内映射仅能通过随机无偏估计器访问时，计算隐导数。我们建立了 NSID 的收敛速率，涵盖了光滑情形下可用的最佳速率。我们还展示了验证我们分析的说明性实验。