图神经网络中的高效混合精度量化
机器学习
2025-05-15 v1
摘要
图神经网络（GNN）已成为处理大规模图应用的核心技术。然而，GNN 的计算需求促使人们开发高效方法以加速推理。混合精度量化成为一种在不牺牲预测性能的前提下提升 GNN 架构效率的有前景的解决方案。与传统深度学习架构相比，GNN 层包含更广泛的可量化组件，包括消息传递函数、聚合函数、更新函数，以及这些函数的输入、可学习参数和输出。在本文中，我们提出了一个用于高效量化消息传递以聚合整数消息的定理。它保证了使用整数值聚合的消息与使用全精度（FP32）获得的消息在数值上等价。基于该定理，我们引入了 GNN 混合精度量化框架，该框架灵活地为 GNN 层内的所有组件选择有效的整数位宽。我们的方法系统地探索了广泛的可能位宽组合，解决了在保持可比预测性能的同时优化效率的挑战。MixQ-GNN 与现有的 GNN 量化方法集成，利用其图结构优势以实现更高的预测性能。平均而言，与以 FP32 精度表示的架构相比，MixQ-GNN 在节点分类和图分类中的位运算分别减少了 5.5 倍和 5.1 倍。
引用
@article{arxiv.2505.09361,
title = {Efficient Mixed Precision Quantization in Graph Neural Networks},
author = {Samir Moustafa and Nils M. Kriege and Wilfried N. Gansterer},
journal= {arXiv preprint arXiv:2505.09361},
year = {2025}
}