中文

观点:不要害怕过平滑与过压制

机器学习 2026-01-13 v1 机器学习

摘要

过平滑和过压制在过去几年里一直是图神经网络(GNN)研究中的热点问题。我们挑战了这一主流关注,认为这些现象在实际应用中并不那么重要。我们认为性能下降往往源于信息性不足的感受野,而非过平滑。我们通过在几个标准基准数据集上的大量实验支持这一观点,表明准确率与过平滑大多数情况下不相关,最优模型深度即使有缓解技术也保持较小,即凸显了过平滑的可忽略作用。类似地,我们挑战了过压制始终有害于实际应用的观点。相反,我们认为相关信息在图上的分布经常分解,且常常局限于较小的k-hop邻域,质疑同时观察整个感受野或进行广泛搜索寻找长程相互作用的必要性。我们的实验结果表明,旨在缓解过压制的架构干预措施未能获得显著的性能提升。这篇观点论文主张在理论研究中进行范式转变,呼吁对学习任务和数据集进行周密分析,使用衡量标签相关信息底层分布的统计量,以更好地理解其局部化和分解。

关键词

引用

@article{arxiv.2601.07419,
  title  = {Position: Don't be Afraid of Over-Smoothing And Over-Squashing},
  author = {Niklas Kormann and Benjamin Doerr and Johannes F. Lutzeyer},
  journal= {arXiv preprint arXiv:2601.07419},
  year   = {2026}
}

备注

Preprint. Copyright 2026 by the authors