中文

消除孤立:连续多任务时空学习框架

机器学习 2025-01-16 v2 人工智能

摘要

时空学习已成为使城市智能成为关键技术。传统时空模型大多聚焦于特定任务,假设训练集与测试集之间存在相同分布。然而,鉴于城市系统通常是动态的、多源的且数据分布不平衡的,当前的特定任务模型无法在不显式建模各种维度和类型的城市数据之间的相互依赖性的情况下,泛化到新的城市条件并适应新领域。为此,我们认为有必要提出一种持续多任务时空学习框架 (CMuST) 以实现集体城市智能,该框架将城市时空学习从单域学习改造为合作性的多维度和多任务学习。具体而言,CMuST 提出一种新的多维时空交互网络 (MSTI),以允许上下文与主要观察值之间的交叉互动以及空间和时间方面的自互动暴露,这也是捕捉任务级别 commonality 和 personalization 的核心。为确保持续任务学习,设计了一种新型滚动适应训练方案 (RoAda),该方案不仅通过构建数据总结驱动的任务提示来保留任务的唯一性,还通过迭代模型行为建模来利用任务之间的相关模式。我们进一步建立了一个来自三个城市的多任务时空学习基准,并通过在这些数据集上的广泛评估,实证证明了 CMuST 的优势。该方法在 few-shot 流动数据和新域任务方面实现了对现有 SOAT 方法的显著性改进。代码可在 https://github.com/DILab-USTCSZ/CMuST 获取。

关键词

引用

@article{arxiv.2410.10524,
  title  = {Get Rid of Isolation: A Continuous Multi-task Spatio-Temporal Learning Framework},
  author = {Zhongchao Yi and Zhengyang Zhou and Qihe Huang and Yanjiang Chen and Liheng Yu and Xu Wang and Yang Wang},
  journal= {arXiv preprint arXiv:2410.10524},
  year   = {2025}
}

备注

Accepted by NeurIPS 2024