面向深度图神经网络且具有平滑感知消息传播的低位量化方法
机器学习
2023-08-30 v1
摘要
图神经网络（GNN）的训练与推理在模型规模和层数方面面临显著的可扩展性挑战，导致大型和深度 GNN 的效率与精度下降。我们提出一种端到端方案，旨在资源受限环境下实现高效 GNN 并规避深度 GNN 中的过平滑问题。我们引入一种基于量化的方法用于 GNN 的所有阶段，从训练中的消息传递到节点分类，压缩模型并实现高效处理。所提出的 GNN 量化器学习量化范围，并在低位量化下以可比精度缩减模型规模。为随层数扩展，我们设计了一种训练中的消息传播机制，控制相邻节点间相似度的逐层变化。该目标被纳入带约束的拉格朗日函数，并利用微分乘子法迭代求解最优嵌入。这缓解了过平滑并将量化误差抑制在一个界内。在全精度和量化模型中，所提方法相较最先进（SOTA）量化方法与深度 GNN 方法均展现出显著提升。所提量化器在 GNN 各阶段 INT2 配置下均表现出优越性能，达到可观精度。相比之下，现有量化方法无法生成令人满意的精度水平。最后，采用 INT2 与 INT4 表示的推理分别相较全精度对应实现 5.11 和 4.70 的加速。
引用
@article{arxiv.2308.14949,
title = {Low-bit Quantization for Deep Graph Neural Networks with Smoothness-aware Message Propagation},
author = {Shuang Wang and Bahaeddin Eravci and Rustam Guliyev and Hakan Ferhatosmanoglu},
journal= {arXiv preprint arXiv:2308.14949},
year = {2023}
}
备注
To appear in CIKM2023