正交贪婪算法的最优收敛速率

我们分析了当应用于凸包具有小熵的字典$\mathbb{D}$时，正交贪婪算法的表现。我们证明，若$\mathbb{D}$的凸包的度量熵以$O(n^{-\frac{1}{2}-\alpha})$（$\alpha > 0$）的速率衰减，则正交贪婪算法在$\mathbb{D}$的变差分空间上以相同速率收敛。这在许多情况下改进了正交贪婪算法众所周知的$O(n^{-\frac{1}{2}})$收敛速率，最显著的是对应于浅层神经网络的字典。这些结果除凸包熵的衰减速率外，对字典无需额外假设。此外，它们对目标函数中的噪声具有鲁棒性，并可推广到变差分范数插值空间上的收敛速率。我们通过实验表明，对于二维中带Heaviside激活函数的浅层神经网络对应的字典，可获得预测的速率。最后，我们证明这些改进速率是尖锐的，并证明了一个否定结果：正交贪婪算法生成的迭代一般无法被$\mathbb{D}$的变差分范数所界。