评估城市场景下时空模型的泛化能力
机器学习
2024-10-10 v2 人工智能
计算机与社会
数据库
摘要
时空神经网络在城市场景中展现出巨大的潜力，通过有效捕捉时空相关性。然而，城市环境是不断演变的，当前的模型评估往往仅限于交通场景，且主要使用训练后数周收集的数据来评估模型性能。这些模型的泛化能力仍然鲜有探索。为此，我们提出了时空类离散分布（ST-OOD）基准测试，包含六种城市场景：共享单车、311服务、行人计数、交通速度、交通流量、叫车需求及共享单车，每种场景都包含同一年内的类分布（in-distribution）和次年的类分布（out-of-distribution）设置。我们广泛评估了最先进的时空模型，发现其在类分布外的设置下性能显著下降，大多数模型的表现甚至不如简单的多层感知器（MLP）。我们的发现表明，当前领先方法倾向于依赖参数对训练数据进行过拟合，可能在类分布数据上表现良好，但常导致泛化能力差。我们还研究了dropout是否能缓解过拟合的负面影响。结果显示，轻微的dropout率可显著提升大多数数据集上的泛化性能，同时对类分布性能影响最小。然而，在平衡类分布和类分布外性能方面仍面临挑战。我们希望提出的基准测试能激励进一步研究这一关键问题。
关键词
引用
@article{arxiv.2410.04740,
title = {Evaluating the Generalization Ability of Spatiotemporal Model in Urban Scenario},
author = {Hongjun Wang and Jiyuan Chen and Tong Pan and Zheng Dong and Lingyu Zhang and Renhe Jiang and Xuan Song},
journal= {arXiv preprint arXiv:2410.04740},
year = {2024}
}