高维空间中的交叉验证：最小二乘模型与多类 LDA 的生命线
机器学习
2018-03-28 v1 机器学习
摘要
诸如线性回归和 Linear Discriminant Analysis (LDA) 等最小二乘模型是最受欢迎的统计学习技术之一。然而，由于它们的计算时间随特征数量呈立方级增长，它们在高维神经影像数据集中效率低下。幸运的是，对于 k 折交叉验证，已经开发出一种解析方法，可以在无需显式训练模型的情况下得出最小二乘模型中精确的交叉验证预测。其计算时间随测试样本数量增长。本文在交叉验证和置换检验的背景下系统地研究了该方法。以 LDA 为例进行说明，但结果适用于所有其他最小二乘方法。此外，形式化地推导出了向多类 LDA 的非平凡扩展。使用复杂度计算、模拟以及 EEG/MEG 数据集的置换检验对该解析方法进行了评估。取决于特征与样本的比例，该解析方法比标准方法（在每个训练集上重新训练模型）快达 10,000 倍。这使得在高维数据中能够对最小二乘模型和多类 LDA 进行快速交叉验证，在多维数据集、Representational Similarity Analysis 和置换测试中具有明显的应用价值。
引用
@article{arxiv.1803.10016,
title = {Cross-validation in high-dimensional spaces: a lifeline for least-squares models and multi-class LDA},
author = {Matthias S. Treder},
journal= {arXiv preprint arXiv:1803.10016},
year = {2018}
}