通过各异协变量下的稳定化私有 LASSO：基于各向异目标扰动
机器学习
2026-05-05 v1 信息论
机器学习
math.IT
摘要
我们研究在差分隐私框架下对高维 LASSO 的目标扰动方法，聚焦于协变量尺度不均匀的情形。在实际场景中，协变量常常呈现出多样化的尺度；然而在隐私约束下，标准的预处理方法存在隐私预算被消耗的问题。这种尺度异质性会通过协变量的广义矩阵的逆矩阵，导致目标扰动产生有效的各向异性，从而影响算法的稳定性和准确性。为此，我们提出了基于广义矩阵的各向异目标扰动方法，这是一种“预失真”策略，旨在抵消由协变量结构引起的失真，以恢复估计过程中的各向同性。我们运用近似消息传递（AMP）框架和状态演化分析，证明所提出的扰动方法显著改善了收敛稳定性，同时提升了统计效率和隐私性能。我们的研究结果为设计无需依赖数据相关预处理即可实现稳定高效私有估计器提供了理论依据。
引用
@article{arxiv.2605.01492,
title = {Stabilizing Private LASSO under Heterogeneous Covariates via Anisotropic Objective Perturbation},
author = {Haruka Tanzawa and Ayaka Sakata},
journal= {arXiv preprint arXiv:2605.01492},
year = {2026}
}
备注
6 pages, 5 figures