基于Gram-Schmidt正交化的前向回归：面向超高维线性模型

前向回归是超高维线性模型中用于变量筛选的经典且有效工具，但其标准的基于投影的实现方式在预测变量之间存在强共线时可能昂贵且数值不稳定。为此，我们提出一种通过Gram-Schmidt更新递归实现的正交化前向回归程序，该程序根据消除已选变量效应后对预测变量的独特贡献进行排序。这一方法保留了前向回归的可解释性，同时大幅降低了重复投影的成本。我们进一步开发了一种基于从前向序列中直接计算的统计量进行的路径式模型大小选择规则，从而避免交叉验证和广泛调参。该方法特别适用于预测变量远大于样本量且存在强共线导致常规前向拟合失效的情形。在理论上，我们推导了所提出Gram-Schmidt前向回归的最优收敛率，从而扩展了基于投影的前向回归的现有结果，进一步表明它享有确定性筛选属性和变量选择一致性。仿真研究和实证案例表明，它在计算效率、数值稳定性、筛选准确性和预测性能之间提供了有利的平衡，尤其在高度相关的超高维情形下效果尤为突出。