基于过参数化回归的半监督学习方法
机器学习
2024-11-20 v2 统计方法学
摘要
半监督学习(SSL)是机器学习中的重要主题，在该主题中我们拥有少量标记样本和大量未标记样本。本文针对回归问题的SSL，考虑一种将未标记样本信息纳入核函数中的方法。作为典型实现，我们采用其中心为标记和未标记输入样本的高斯核。由于在此设置下系数的数量超过标记样本的数量，这是一个过参数化回归问题。岭回归是此类设置下的典型估计方法。本文另一方面考虑应用最小范数最小二乘(MNLS)，该方法被认为是理解深度学习行为有用的工具，尽管可能不具有操作性。随后，在将MNLS应用于SSL时，我们在特征提取/降维方面建立了若干方法，这些方法基于在过参数化回归问题中出现的类Gram矩阵的奇异值分解(SVD)表示。这些方法包括根据奇异值大小进行阈值处理(交叉验证),硬阈值(交叉验证),通用阈值和桥梁阈值方法。第一个方法等价于使用类Gram矩阵的著名低秩近似方法。我们将这些方法称为SVD回归方法。在实数据实验中，根据数据集，观察到提出的SVD回归方法相对于岭回归方法表现出明显优势。并且，根据数据集， 将未标记输入样本信息纳入核函数的效果被发现具有明确的有效性。
引用
@article{arxiv.2409.04001,
title = {A semi-supervised learning using over-parameterized regression},
author = {Katsuyuki Hagiwara},
journal= {arXiv preprint arXiv:2409.04001},
year = {2024}
}