Degree-Quant：图神经网络的量化感知训练
机器学习
2021-03-16 v3 机器学习
摘要
图神经网络（GNNs）因能够建模非均匀结构化数据，在广泛任务上展现出强劲性能。尽管前景广阔，关于使其推理更高效的方法研究甚少。本工作中，我们探索训练量化GNN的可行性，从而在推理时启用低精度整数算术。我们指出了尝试量化GNN时独特出现的误差来源，并提出了一种架构无关的方法Degree-Quant，以改进常用于其他架构（如CNNs）的现有量化感知训练基线的性能。我们在六个数据集上验证了该方法，并表明与先前尝试不同，模型可泛化至未见图。采用Degree-Quant训练的INT8量化模型在多数情况下与FP32模型表现相当；对于INT4模型，我们相较基线获得最高26%的提升。我们的工作在使用INT8算术时于CPU上实现了最高4.7倍加速。
引用
@article{arxiv.2008.05000,
title = {Degree-Quant: Quantization-Aware Training for Graph Neural Networks},
author = {Shyam A. Tailor and Javier Fernandez-Marques and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2008.05000},
year = {2021}
}
备注
Published as a conference paper at ICLR 2021