深度学习中的核范数正则化

对函数雅可比矩阵的核范数进行惩罚，可鼓励其在局部上表现为低秩线性映射。此类函数在局部仅沿少数方向变化，因此雅可比矩阵的核范数是机器学习问题中一种天然的正则化器。然而，由于需要计算大型雅可比矩阵并对其进行奇异值分解，该正则化器在高维问题中难以实现。我们展示了如何使用专为深度学习设计的技术高效地惩罚雅可比矩阵的核范数。我们证明，对于参数化为复合函数 $f = g \circ h$ 的函数，可等价地惩罚 $Jg$ 和 $Jh$ 的平均平方弗罗贝尼乃斯范数。随后，我们提出一种无需计算雅可比矩阵的去噪式近似方法。该方法简单、高效且准确，使雅可比矩阵核范数正则化能够扩展到高维深度学习问题。我们补充理论分析，通过实证研究评估该正则化器的性能，并探讨其在去噪和表征学习中的应用。