重新思考图彩票票：图稀疏性至关重要

彩票假设(Lottery Ticket Hypothesis, LTH)声称存在一个中奖票（即一个适当剪枝的子网络连同原始权重初始化），其能达到与原始稠密网络相竞争的性能。一项近期称为 UGS 的工作将 LTH 扩展至剪枝图神经网络(GNNs)以有效加速 GNN 推理。UGS 使用相同的掩码机制同时剪枝图邻接矩阵和模型权重，但由于图邻接矩阵与权重矩阵的作用非常不同，我们发现它们的稀疏化导致不同的性能特征。具体而言，我们发现当图稀疏性超出一定程度时，稀疏化 GNN 的性能显著下降。因此，我们提出两种技术以在图稀疏性较高时提升 GNN 性能。首先，UGS 使用一种损失公式剪枝邻接矩阵，但其未恰当涉及邻接矩阵的所有元素；相反，我们新增一个辅助损失头，通过涉及整个邻接矩阵来更好地引导边剪枝。其次，通过将不利的图稀疏化视为对抗性数据扰动，我们将剪枝过程表述为一个极小极大优化问题，以在图稀疏性高时获得彩票票的鲁棒性。我们进一步探究如下问题：GNN 的“可重训练”中奖票是否也能有效用于图迁移学习？我们称之为可迁移图彩票票(transferable graph lottery ticket, GLT)假设。我们进行了大量实验，证明了所提稀疏化方法相对于 UGS 的优越性，并从经验上验证了我们的可迁移 GLT 假设。