如何逆转杠杆得分分布？

杠杆得分是机器学习和理论计算机科学中的一个基本问题，广泛应用于回归分析、随机化算法和神经网络反向。尽管杠杆得分被广泛用作工具，但本文研究了名为逆转杠杆得分问题的新问题。我们分析如何将杠杆得分分布逆转以恢复模型参数。具体地，给定杠杆得分 $\sigma \in \mathbb{R}^n$、矩阵 $A \in \mathbb{R}^{n \times d}$ 和向量 $b \in \mathbb{R}^n$，我们分析寻找 $x \in \mathbb{R}^d$ 以最小化 $\| \mathrm{diag}( \sigma ) - I_n \circ (A(x) (A(x)^\top A(x) )^{-1} A(x)^\top ) \|_F$ 的非凸优化问题，其中 $A(x):= S(x)^{-1} A \in \mathbb{R}^{n \times d}$，$S(x) := \mathrm{diag}(s(x)) \in \mathbb{R}^{n \times n}$ 且 $s(x) : = Ax - b \in \mathbb{R}^n$。我们的理论研究包括计算梯度和 Hessian，证明 Hessian 矩阵为正定且 Lipschitz，以及构建一阶和二阶算法来求解该回归问题。我们的工作结合迭代收缩和归纳假设以确保牛顿方法的全局收敛率，以及 Lipschitz 和强凸性的属性以保证梯度下降的性能。这项关于逆转统计杠杆得分的重要研究开输了诸多新的应用领域，如解释、数据恢复和安全。