基于Nyström近似的可扩展核逻辑回归：理论分析与离散选择建模应用

基于核的机器学习技术应用于大规模数据集的离散选择建模时，常因内存需求和模型中涉及的大量参数而面临挑战。这种复杂性阻碍了大规模模型的高效训练。本文通过引入Nyström近似来解决核逻辑回归在大规模数据集上的可扩展性问题。研究首先进行理论分析：i) 刻画核逻辑回归解集的特征，ii) 给出带Nyström近似的核逻辑回归解的上界，iii) 描述优化算法在Nyström核逻辑回归上的特化。随后，对Nyström核逻辑回归进行计算验证。测试了四种地标选择方法，包括基本均匀采样、k均值采样策略以及两种基于杠杆分数的非均匀方法。使用大规模交通方式选择数据集评估这些策略的性能，并与多项Logit等传统方法及当代机器学习技术进行比较。研究还评估了多种优化技术对所提Nyström核逻辑回归模型的效率，包括梯度下降、动量法、Adam和L-BFGS-B优化方法。在这些策略中，k均值Nyström核逻辑回归方法成为将核逻辑回归应用于大规模数据集的有效解决方案，尤其当与L-BFGS-B和Adam优化方法结合时。结果凸显了该策略处理超过20万观测值数据集并保持稳健性能的能力。