从任意线性样本中学习非线性模型类的统一框架
机器学习
2026-03-09 v2 信息论
math.IT
摘要
我们研究利用给定模型类从数据中学习未知对象这一基本问题。我们引入一个统一框架，可容纳任意 Hilbert 空间中的对象、一般的（可能是向量值的）随机线性测量以及一般类型的非线性模型。我们为该框架建立了新的学习保证，将所需数据量与模型类的结构性质显式关联，从而得到近最优的泛化界。我们引入的一个核心概念是模型类相对于采样算子分布的变差，它量化了模型与测量过程的交互方式。结合刻画模型复杂度的熵积分，这构成了我们保证的基础。我们的框架具有足够的通用性，能够恢复并统一多种众所周知的问题，例如矩阵草图、各向同性测量下的压缩感知以及带生成模型的压缩感知。在每种情况下，现有结果都作为我们理论的直接推论而出现。对于带生成模型的压缩感知，我们还推导了任意 Lipschitz 生成映射结合一般线性测量的首个保证。总体而言，我们的工作为从一般数据中学习提供了统一视角，并引入了整合、锐化及扩展现有结果的新理论保证。
引用
@article{arxiv.2311.14886,
title = {A unified framework for learning with nonlinear model classes from arbitrary linear samples},
author = {Ben Adcock and Juan M. Cardenas and Nick Dexter},
journal= {arXiv preprint arXiv:2311.14886},
year = {2026}
}