隐藏于带目标噪声回归梯度中的信息

二阶信息（如曲率或数据协方差）对于优化、诊断和鲁棒性至关重要。然而，在许多现代场景中，只有梯度是可观测的。我们证明，仅凭梯度即可揭示 Hessian 矩阵，对于线性回归而言这等价于数据协方差 $\Sigma$。我们的核心洞察是一个简单的方差校准：注入高斯噪声，使得总目标噪声方差等于批量大小，从而确保经验梯度协方差紧密近似 Hessian 矩阵，即使在远离最优点处评估亦然。我们在次高斯输入下提供了非渐近的算子范数保证。我们还表明，若缺乏此类校准，恢复结果可能会产生 $\Omega(1)$ 因子的偏差。所提方法具有实用性（“将目标噪声方差设为 $n$”的规则）且鲁棒（方差 $\mathcal{O}(n)$ 足以恢复 $\Sigma$ 的尺度）。应用包括用于加速优化的预条件、对抗风险评估以及纯梯度训练（例如在分布式系统中）。我们通过在合成数据和真实数据上的实验支持了理论结果。