PPI-SVRG：统一预测驱动推断与方差缩减的半监督优化
机器学习
2026-01-30 v1 计量经济学
最优化与控制
机器学习
摘要
我们研究半监督随机优化问题，在标签稀缺但可获得预训练模型预测的场景下。PPI 和 SVRG 都通过控制变量降低方差——PPI 使用预测，SVRG 使用参考梯度。我们证明它们在数学上等价，并开发了 PPI-SVRG，将两者结合。我们的收敛界 decomposes 为标准 SVRG 速率外加预测不确定性引入的误差底。该速率仅取决于损失函数的几何结构；预测仅影响邻域大小。当预测完美时，我们可恢复 SVRG。当预测退化时，收敛仍稳定但达到的邻域更大。实验验证了理论：在标签稀缺的均值估计基准测试中，PPI-SVRG 将 MSE 降低 43--52%，在仅使用 10% 标记数据的情况下改善 MNIST 测试准确率提升 2.7--2.9 个百分点。
引用
@article{arxiv.2601.21470,
title = {PPI-SVRG: Unifying Prediction-Powered Inference and Variance Reduction for Semi-Supervised Optimization},
author = {Ruicheng Ao and Hongyu Chen and Haoyang Liu and David Simchi-Levi and Will Wei Sun},
journal= {arXiv preprint arXiv:2601.21470},
year = {2026}
}
备注
27 pages, 4 figures