使用Hessian-Schatten全变分度量学习方案的复杂度
机器学习
2022-02-01 v2 机器学习
摘要
本文中，我们引入Hessian-Schatten全变分（HTV）——一种量化多元函数总“粗糙度”的新半范数。我们定义HTV的动机是评估监督学习方案的复杂度。我们首先指定配备适当混合范数类的矩阵值Banach空间。然后我们证明HTV对旋转、缩放和平移具有不变性。此外，其最小值由线性映射达到，这支持了线性回归是最不复杂学习模型的普遍直觉。接下来，我们给出两类一般函数的HTV闭式表达。第一类是具有某种正则性的Sobolev函数类，我们证明此时HTV与有时用作图像重建正则化的Hessian-Schatten半范数一致。第二类是连续分段线性（CPWL）函数类。在此情形下，我们证明HTV反映了具有公共面的线性区域间斜率的总变化。因此，它可视为CPWL映射线性区域数（l0型）的凸松弛（l1型）。最后，我们展示了所提半范数的应用。
引用
@article{arxiv.2112.06209,
title = {Measuring Complexity of Learning Schemes Using Hessian-Schatten Total Variation},
author = {Shayan Aziznejad and Joaquim Campos and Michael Unser},
journal= {arXiv preprint arXiv:2112.06209},
year = {2022}
}