半监督深度 Sobolev 回归：基于 ReQU 神经网络的估计与变量选择
机器学习
2025-01-31 v2 机器学习
摘要
我们提出 SDORE，一种半监督深度 Sobolev 回归器，用于对底层回归函数及其梯度进行非参数估计。SDORE 采用深度 ReQU 神经网络，通过梯度范数正则化来最小化经验风险，从而允许利用无标签数据近似正则化项。我们的研究深入分析了 SDORE 在 范数下的收敛速率，达到了极小极大最优性。此外，即使在存在显著领域偏移的情况下，我们也为相关的插件梯度估计器建立了收敛速率。这些理论发现为选择正则化参数和确定神经网络规模提供了宝贵的见解，同时展示了在半监督学习中利用无标签数据的可证明优势。据我们所知，SDORE 是首个可证明的基于神经网络的方法，能同时估计回归函数及其梯度，并具有非参数变量选择等多种应用。SDORE 的有效性通过广泛的数值模拟得到了验证。
引用
@article{arxiv.2401.04535,
title = {Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network},
author = {Zhao Ding and Chenguang Duan and Yuling Jiao and Jerry Zhijian Yang},
journal= {arXiv preprint arXiv:2401.04535},
year = {2025}
}