关于无铰链损失及其超越的动力学研究

近期的工作研究了深度学习中的隐式偏差，特别是最后一层特征和分类器权重的行为。然而，由于损失函数和模型架构的难解性，这些工作通常需要简化梯度流或梯度下降下的中间动力学。在本文中，我们引入了无铰链损失（unhinged loss），一种简洁的损失函数，它为分析闭式动力学提供了更多数学机会，同时需要尽可能少的简化或假设。无铰链损失允许考虑更实用的技术，例如时变学习率和特征归一化。基于将最后一层特征视为自由优化变量的层剥离模型，我们在无约束、正则化和球面约束情况下，以及神经正切核保持不变的情况下进行了深入分析。为了将无铰链损失的性能与交叉熵（Cross-Entropy, CE）的性能联系起来，我们研究了用特定结构（例如，单纯形等角紧框架）固定分类器权重的情形。我们的分析表明，这些动力学以指数速度收敛到一个取决于特征和分类器权重初始化的解。这些理论结果不仅提供了有价值的见解，包括用于增强无铰链损失实际训练的显式特征正则化和重缩放学习率，还将其适用性扩展到其他损失函数。最后，我们通过大量实验实证地证明了这些理论结果和见解。