TEDDY：基于度信息的判别式边剪枝策略
机器学习
2024-03-18 v3 人工智能
摘要
自 Chen 等人 (2021) 针对图神经网络 (GNN) 提出彩票假设的开创性工作以来，寻找图彩票 (GLT) 的研究已成为 GNN 领域的核心焦点之一，激励研究者发现更稀疏的 GLT，同时达到与原始稠密网络相当的性能。与此同时，图结构作为 GNN 训练动态中的关键因素，也受到了广泛关注，近期多项研究对此进行了阐释。尽管如此，当前的 GLT 研究通常未能充分利用图结构中固有的通路，并以迭代方式识别彩票，这种方式耗时且效率低下。为解决这些局限，我们提出了 TEDDY，一种通过融入边度信息来利用结构信息的单次边稀疏化框架。在边稀疏化之后，我们通过在 球上的简单投影梯度下降，在训练过程中促进参数稀疏性。给定图结构和模型参数的目标稀疏度水平，我们的 TEDDY 能够在单次训练中高效快速地实现 GLT。值得注意的是，我们的实验结果表明，即使仅利用图结构进行单次稀疏化而不考虑特征信息，TEDDY 在泛化能力上也显著超越了传统的迭代方法。
引用
@article{arxiv.2402.01261,
title = {TEDDY: Trimming Edges with Degree-based Discrimination strategY},
author = {Hyunjin Seo and Jihun Yun and Eunho Yang},
journal= {arXiv preprint arXiv:2402.01261},
year = {2024}
}