TSC：一种针对过平滑问题的简单双侧约束
机器学习
2024-08-07 v1
摘要
图卷积神经网络（GCN）是一种广泛用于分析关系数据的方法，通过聚合邻居信息来增强节点判别性。通常，堆叠多个层可通过利用高阶邻居的信息来提高 GCN 的性能。然而，网络深度的增加会引发过平滑问题，这可归因于邻居质量与数量的变化：（a）邻居质量，节点在高阶邻居重叠，导致聚合信息难以区分；（b）邻居数量，指数级增长的聚合邻居会通过递归聚合操作淹没节点的初始特征。当前解决方案主要针对上述原因之一，鲜有同时考虑两者。为一次性解决过平滑的两个原因，我们引入一种简单双侧约束（TSC）用于 GCN，包含两种直观且强大的技术：随机遮蔽和对比约束。随机遮蔽作用于表示矩阵的列，以调节从邻居获取信息的程度，从而防止节点表示的收敛。而对比约束则作用于表示矩阵的行，增强节点的判别性。TSC 设计为可插拔模块，可轻松与 GCN 或 SGC 架构集成。在多样化真实图数据集上的实验分析验证了我们方法显著降低节点表示收敛程度以及深层 GCN 性能退化的问题。
引用
@article{arxiv.2408.03152,
title = {TSC: A Simple Two-Sided Constraint against Over-Smoothing},
author = {Furong Peng and Kang Liu and Xuan Lu and Yuhua Qian and Hongren Yan and Chao Ma},
journal= {arXiv preprint arXiv:2408.03152},
year = {2024}
}
备注
accept by KDD2024