ContraNorm：从对比学习视角看待过平滑及其延伸问题
机器学习
2023-05-03 v2 计算机视觉与模式识别
机器学习
摘要
过平滑在广泛的图神经网络（GNN）和 Transformer 中是一种常见现象，表现为随着层数增加性能变差。我们不是从表示收敛到单个点的完全坍缩视角来刻画过平滑，而是深入探究更具一般性的维度坍缩视角，即表示位于一个狭窄的锥体中。相应地，受对比学习在防止维度坍缩方面有效性的启发，我们提出了一种称为 ContraNorm 的新型归一化层。直观上，ContraNorm 在嵌入空间中隐式地打散表示，导致更均匀的分布和更轻微的维度坍缩。在理论分析上，我们证明在某些条件下 ContraNorm 能够缓解完全坍缩和维度坍缩。我们提出的归一化层可以轻松集成到 GNN 和 Transformer 中，且参数开销可忽略不计。在多个真实世界数据集上的实验证明了我们提出的 ContraNorm 的有效性。我们的实现可在 https://github.com/PKU-ML/ContraNorm 获取。
引用
@article{arxiv.2303.06562,
title = {ContraNorm: A Contrastive Learning Perspective on Oversmoothing and Beyond},
author = {Xiaojun Guo and Yifei Wang and Tianqi Du and Yisen Wang},
journal= {arXiv preprint arXiv:2303.06562},
year = {2023}
}
备注
ICLR 2023