深度斯特恩-李ouville：从样本正则化到可学习正交基函数的1维正则化
机器学习
2025-04-11 v1
摘要
尽管人工神经网络（ANN）在 various 任务中取得了显著的成功，但仍存在泛化性有限的局限。我们假设，这一限制源于ANN中使用的传统样本级（0维）正则化方法。为克服这一问题，我们引入了深度斯特恩-李ouville（Deep Sturm--Liouville，DSL）——一种新型函数逼近器，通过将斯特恩-李ouville定理（SLT）集成到深度学习框架中，实现对输入空间中场线的连续1维正则化。DSL定义穿过输入空间的场线，在这些场线上求解斯特恩-李ouville问题，以生成正交基函数，利用SLT的理想属性实现隐式正则化。这些基函数经线性组合构建DSL逼近器。向量场和基函数均由神经网络参数化并联合学习。我们展示，DSL形式在求解秩1抛物线特征值问题时自然出现。DSL通过隐式微分进行高效训练。DSL在多种多变量数据集上实现了竞争性能，并在包括MNIST和CIFAR-10等高维图像数据集上的样本效率得到改善。
关键词
引用
@article{arxiv.2504.07151,
title = {Deep Sturm--Liouville: From Sample-Based to 1D Regularization with Learnable Orthogonal Basis Functions},
author = {David Vigouroux and Joseba Dalmau and Louis Béthune and Victor Boutin},
journal= {arXiv preprint arXiv:2504.07151},
year = {2025}
}