受够过平滑了吗？应力图绘制即你所需要的一切！
机器学习
2022-11-22 v1
摘要
在设计与应用图神经网络时，我们常陷入一些优化陷阱，其中最具迷惑性的是认为只能靠解决过平滑来构建深度模型。其根本原因在于我们并不理解图神经网络如何工作。应力图绘制可为图中的消息迭代提供独特视角，例如过平滑问题的根源在于图模型无法维持节点间理想距离。我们进一步阐明了过平滑的触发条件，并提出应力图神经网络。通过引入应力迭代中的吸引与排斥消息传递，我们展示了如何在不阻止过平滑的情况下构建深度模型、如何利用排斥信息，以及如何优化当前消息传递方案以逼近完整应力消息传播。通过在 23 个数据集上执行不同任务，我们验证了吸引与排斥模型的有效性，以及所推导出的应力迭代与图神经网络间的关系。我们相信应力图绘制将成为理解与设计图神经网络的流行资源。
引用
@article{arxiv.2211.10579,
title = {Tired of Over-smoothing? Stress Graph Drawing Is All You Need!},
author = {Xue Li and Yuanzhi Cheng},
journal= {arXiv preprint arXiv:2211.10579},
year = {2022}
}
备注
13 pages, 10 figures, 11 tables, and 27 formulas