时序网络真的需要复杂的模型架构吗？
机器学习
2023-02-24 v1 人工智能
摘要
循环神经网络（RNN）和自注意力机制（SAM）是从时序图学习中提取时空信息的事实标准方法。有趣的是，我们发现尽管 RNN 和 SAM 都能带来良好性能，但在实践中它们并非总是必要的。在本文中，我们提出 GraphMixer，一种概念上和技术上简单的架构，由三个组件组成：（1）仅基于多层感知机（MLP）的链接编码器，用于从时序链接中汇总信息；（2）仅基于邻居均值池化的节点编码器，用于汇总节点信息；（3）基于 MLP 的链接分类器，根据编码器输出执行链接预测。尽管简单，GraphMixer 在时序链接预测基准上取得了出色性能，具有更快的收敛和更好的泛化性能。这些结果促使我们重新思考更简单模型架构的重要性。
引用
@article{arxiv.2302.11636,
title = {Do We Really Need Complicated Model Architectures For Temporal Networks?},
author = {Weilin Cong and Si Zhang and Jian Kang and Baichuan Yuan and Hao Wu and Xin Zhou and Hanghang Tong and Mehrdad Mahdavi},
journal= {arXiv preprint arXiv:2302.11636},
year = {2023}
}