利用噪声人工标签作为有用信息：基于信息融合的惩罚逻辑回归变量选择方法
机器学习
2026-02-16 v2 统计计算
机器学习
摘要
在大规模监督学习中，惩罚逻辑回归（PLR）通过正则化有效缓解过拟合，但其性能严重依赖于稳健的变量选择。本文表明，在手动标注过程中引入的标签噪声——通常被视为单纯的噪声——可作为增强 PLR 变量选择的有价值信息源。我们理论上证明，这种噪声本质上与分类难易性相关，有助于改进非零系数的估计，有效将常见瑕疵转化为有用的信息资源。为在数据无法存储于单机的大规模场景下高效利用此类信息融合，我们提出一种基于交替方向乘子方法（ADMM）的全新分区不变并行算法。该方法确保解对数据在工人的分布方式不变，这是可重复且稳定分布式学习的关键属性，同时保证以亚线性速率收敛。广泛的实验表明，所提方法在估计精度和分类性能方面 consistently 优于传统变量选择技术，进而确认有意识地将噪声人工标签融入学习过程的价值。
引用
@article{arxiv.2504.16585,
title = {Leveraging Noisy Manual Labels as Useful Information: An Information Fusion Approach for Enhanced Variable Selection in Penalized Logistic Regression},
author = {Xiaofei Wu and Rongmei Liangse},
journal= {arXiv preprint arXiv:2504.16585},
year = {2026}
}