好的开始是成功的一半：基于 ST-Curriculum Dropout 的时空图建模
机器学习
2022-11-29 v1 人工智能
数据库
摘要
时空（ST）图建模，例如交通速度预测和出租车需求预测，是深度学习领域的一项重要任务。然而，由于时空数据的异质性，图中节点的时空模式在建模难度上可能存在很大差异。我们认为，以有意义的顺序（从易到难）向模型揭示节点，相比传统训练过程可以带来性能提升。这一思想源于课程学习，该理论表明在训练早期，模型可能对噪声和困难样本敏感。在本文中，我们提出了 ST-Curriculum Dropout，一种新颖且易于实现的时空图建模策略。具体而言，我们在高层特征空间中评估每个节点的学习难度，并在开始时丢弃那些困难节点，以确保模型只需处理基础的时空关系，然后逐步转向困难节点。我们的策略可以应用于任何经典的深度学习架构，无需额外的可训练参数。在广泛数据集上进行的大量实验表明，通过在训练过程中控制时空关系的难度级别，模型能够捕获更好的数据表征，从而获得更好的泛化能力。
引用
@article{arxiv.2211.15182,
title = {Easy Begun is Half Done: Spatial-Temporal Graph Modeling with ST-Curriculum Dropout},
author = {Hongjun Wang and Jiyuan Chen and Tong Pan and Zipei Fan and Boyuan Zhang and Renhe Jiang and Lingyu Zhang and Yi Xie and Zhongyi Wang and Xuan Song},
journal= {arXiv preprint arXiv:2211.15182},
year = {2022}
}