基于空间 k 折交叉验证的空间模型预测性能估计
应用统计
2020-06-01 v1 机器学习
摘要
在机器学习中，评估模型性能时通常假设数据相互独立。然而，这在实践中很少成立。地理信息数据集是一个例子，其中数据点在地理上越接近，彼此间的依赖性越强。这种称为空间自相关（SAC）的现象导致标准交叉验证（CV）方法对空间模型产生乐观偏倚的预测性能估计，从而在实际应用中造成成本增加与事故。为克服该问题，我们提出了一种改进的 CV 方法，称为空间 k 折交叉验证（SKCV），它能在无 SAC 所致乐观偏倚的情况下提供有用的模型预测性能估计。我们使用三个涉及开放自然数据的真实案例测试 SKCV，表明普通 CV 产生的估计比 SKCV 乐观高达 40%。我们的实验同时考虑了回归与分类情形。此外，我们将展示如何将 SKCV 方法作为新研究区域数据采样密度选择的准则。
引用
@article{arxiv.2005.14263,
title = {Estimating the Prediction Performance of Spatial Models via Spatial k-Fold Cross Validation},
author = {Jonne Pohjankukka and Tapio Pahikkala and Paavo Nevalainen and Jukka Heikkonen},
journal= {arXiv preprint arXiv:2005.14263},
year = {2020}
}
备注
18 pages, 12 figures, 1 table