数据诱导的多尺度损失与高效多速率梯度下降方案

本文研究了多尺度数据对机器学习算法的影响，特别是在深度学习背景下。如果数据集的分布在不同方向上显示出巨大的尺度变化，则该数据集为多尺度的。本文揭示了损失景观中的多尺度结构，包括从数据继承的梯度和黑塞矩阵。相应地，本文引入了一种新颖的梯度下降方法，其灵感来源于科学计算中使用的多尺度算法。该方法旨在超越经验性的学习率选择，提供一种更系统化、数据驱动的策略以提高训练效率，特别是在后期阶段。