$\rm A^2Q$：面向图神经网络的聚合感知量化
机器学习
2023-02-02 v1
摘要
随着图数据规模增大，推理期间的巨大延迟与内存消耗对图神经网络（GNNs）的实际部署提出了重大挑战。虽然量化是降低GNNs复杂度的有力方法，但以往大多数GNN量化的工作未能利用GNNs的独特特性，遭受严重的精度下降。通过对GNNs拓扑的深入分析，我们观察到图的拓扑导致节点间显著差异，且图中大多数节点呈现出较小的聚合值。受此启发，本文提出面向GNNs的聚合感知混合精度量化（），其中自动学习并为图中每个节点分配合适的位宽。为缓解节点间稀疏连接引起的梯度消失问题，我们提出局部梯度方法，以节点特征的量化误差作为训练期间的监督。我们还开发了最近邻策略以处理在未见图上的泛化。在八个公开节点级和图级数据集上的大量实验证明了我们所提方法的通用性与鲁棒性。与FP32模型相比，我们的方法可实现高达18.6倍（即1.70bit）的压缩比且精度下降可忽略。此外，与最先进量化方法相比，我们的方法在节点级和图级任务上分别可实现高达11.4%和9.5%的精度提升，并在专用硬件加速器上实现高达2倍加速。
引用
@article{arxiv.2302.00193,
title = {$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks},
author = {Zeyu Zhu and Fanrong Li and Zitao Mo and Qinghao Hu and Gang Li and Zejian Liu and Xiaoyao Liang and Jian Cheng},
journal= {arXiv preprint arXiv:2302.00193},
year = {2023}
}
备注
Accepted by ICLR2023