影响函数随机投影统一理论

影响函数及相关数据归因得分具有 $g^{\top}F^{-1}g^{\prime}$ 的形式，其中 $F\succeq 0$ 为曲率算子。在现代超参数模型中，构造或求逆 $F\in\mathbb{R}^{d\times d}$ 代价高昂，故动用尺寸为 $m\times d$ 的草图 $P$ 进行可扩展影响计算。这一做法常以Johnson-Lindenstrauss (JL) 引理为依据，后者确保固定数据集下欧几里得几何的近似保持。然而，JL引理未涉及投影在逆运算下的行为；亦无现有理论阐明投影与其他技术（如岭正则化与结构化曲率近似）的相互作用。我们发展了统一理论，刻画投影何时才能严格保守影响函数。当 $g,g^{\prime}\in\text{range}(F)$ 时：1) 无正则化投影：精确保守当且仅当 $P$ 在 $\text{range}(F)$ 上单射，这要求 $m\geq \text{rank}(F)$；2) 正则化投影：岭正则化根本性地改变了投影壁垒，其近似保证由 $F$ 在正则化尺度上的有效维度决定；3) 因子化影响：对Kronecker型曲率 $F=A\otimes E$，即使是解耦草图 $P=P_A\otimes P_E$ 仍可保持保证，尽管此类草图具有违反独立同分布假设的行相关性。超出此范围限制的设置下，我们分析超出范围测试梯度，量化当测试梯度在 $\ker(F)$ 中存在分量时产生的泄漏项。这一工作发展出新理论，阐明投影何时才能严格保守影响，并为实际选取草图尺寸提供原则指导。