比较数百种机器学习分类器与离散选择模型在出行行为预测中的表现:一项实证基准研究
机器学习
2025-03-07 v3 计量经济学
摘要
大量研究比较了机器学习(ML)与离散选择模型(DCMs)在预测出行需求中的表现。然而,这些研究往往缺乏可泛化性,因为它们在比较模型时采用确定性方式而未考虑情境差异。为弥补该局限,我们的研究通过设计一种锦标赛模型来构建实证基准,从而高效汇总大量实验、量化模型比较中的随机性,并使用形式统计检验来区分模型效应与情境效应。该基准研究比较了两个大规模数据源:一个来自文献综述、汇总了 35 项研究中 136 个实验的数据库,以及我们自身的实验数据,共涵盖来自 105 个模型与 12 个模型族的 6,970 个实验。该基准研究得出两个关键发现。首先,许多 ML 模型,尤其是集成方法与深度学习,在统计上优于 DCM 族(即多项、嵌套与混合 logit 模型)。然而,本研究也强调了情境因素(即数据源、输入与选择类别)的关键作用,其比模型类型本身的差异更能有效解释模型的预测表现。模型表现随数据源显著变化,随样本量增大与备选集维数降低而改善。在控制所有模型与情境因素后,显著的随机性依然存在,意味着此类模型比较中存在固有不确定性。总体而言,我们建议未来研究者将更多关注点从特定情境的模型比较转向考察模型跨情境的可迁移性,以及刻画 ML 中的固有不确定性,从而构建更稳健且可泛化的下一代出行需求模型。
引用
@article{arxiv.2102.01130,
title = {Comparing hundreds of machine learning classifiers and discrete choice models in predicting travel behavior: an empirical benchmark},
author = {Shenhao Wang and Baichuan Mo and Yunhan Zheng and Stephane Hess and Jinhua Zhao},
journal= {arXiv preprint arXiv:2102.01130},
year = {2025}
}