共享、协作、基准:通过严谨的开源协作推进出行需求研究
机器学习
2024-07-16 v2
摘要
本研究凸显了出行需求研究中的普遍做法,强调改变研究方式的必要性。出行需求文献难以有效指导政策的一个关键障碍是大量出版物缺乏清晰、统一的基准,导致研究人员和决策者难以汲取见解并利用模型指导决策。通过强调可复现性与开放协作,我们旨在提升出行需求研究的可靠性及其对政策的相关性。我们提出了一个面向公交需求预测模型的协作基础设施,重点关注其在COVID-19大流行等高度动态条件下的表现。基于300余篇已发表论文,我们开发了一个包含五种常用方法的开源基础设施,并评估了它们在稳定与动态条件下的性能。我们发现,LSTM深度学习方法的平均反正切绝对百分比误差(MAAPE)在1.5个月内稳定于约0.12,而其他模型即便在大流行一年后仍持续呈现更高的错误率。若COVID-19大流行前的研究实践以可复现性为优先,公交机构本可获得关于最佳预测方法的更清晰指导,并迅速确定最适于大流行条件的模型,以依据公交需求变化指导运营。该开源代码库旨在降低其他研究人员复现、重现模型及在此基础上拓展发现的门槛。我们鼓励研究人员在该基准平台上测试其自建建模方法,质疑本文所开展的分析,并开发性能优于本文所评估模型的模型设定。此外,若欲对政策与规划产生影响,必须将协作研究方式拓展至出行需求建模的各个层面。
引用
@article{arxiv.2306.06194,
title = {Share, Collaborate, Benchmark: Advancing Travel Demand Research through rigorous open-source collaboration},
author = {Juan D. Caicedo and Carlos Guirado and Marta C. González and Joan L. Walker},
journal= {arXiv preprint arXiv:2306.06194},
year = {2024}
}
备注
18 pages, 8 figures