基于扩散神经网络生成的时空少样本学习
机器学习
2024-03-26 v3
摘要
时空建模是智慧城市应用的基础，但常受限于许多城市和地区的数据稀缺。为弥补这一差距，我们提出了一种新颖的生成式预训练框架 GPD，用于具有城市知识迁移能力的时空少样本学习。与严重依赖通用特征提取或复杂少样本学习设计的传统方法不同，我们的方案采用了一种新颖的方法，即在利用源城市数据优化的一组神经网络参数上执行生成式预训练。我们将时空少样本学习重构为预训练一个生成式扩散模型，该模型在提示引导下生成定制化的神经网络，从而能够适应多样的数据分布和城市特定特征。GPD 采用基于 Transformer 的去噪扩散模型，该模型与强大的时空神经网络具有模型无关的集成能力。通过解决数据缺口及跨城市知识泛化复杂性所带来的挑战，我们的框架在交通速度预测和人群流量预测等多项真实世界数据集的任务中， consistently 优于最先进的基线方法。我们的实现代码已开源：https://github.com/tsinghua-fib-lab/GPD。
引用
@article{arxiv.2402.11922,
title = {Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation},
author = {Yuan Yuan and Chenyang Shao and Jingtao Ding and Depeng Jin and Yong Li},
journal= {arXiv preprint arXiv:2402.11922},
year = {2024}
}