Lipschitz路径可微函数次梯度法病态动力学示例

我们表明，即便在有利假设下，被广泛用于机器学习应用的消失步长次梯度法也可能表现出相当混乱的行为。我们证明，即便目标函数满足Kurdyka-Lojasiewicz不等式且为Whitney可分层函数，有界次梯度序列的收敛性仍可能失败。此外，当目标函数为路径可微时，我们表明以下各种性质均可能不成立：极限点的临界性、序列的收敛性、函数值的收敛性、聚集的维数为一、聚集与本质聚集的相等性、本质聚集的连通性、自发减速、振荡补偿，以及振荡垂直于聚集。