基于改进方差最小化的分块量化图神经网络激活压缩
机器学习
2024-03-25 v2 机器学习
摘要
大规模图神经网络（GNNs）的高效训练已在减少其内存消耗方面得到研究。Liu等人（2022）的工作提出了极端激活压缩（EXACT），通过将中间激活图量化至INT2精度，展示了内存消耗的大幅降低。他们显示出性能几乎无下降，同时实现了GPU内存消耗的大幅减少。在本工作中，我们通过对中间激活图使用分块量化来改进EXACT策略。我们通过实验分析了不同块大小，并显示出即便在如原始EXACT般相似的性能权衡下执行极端量化时，内存消耗进一步降低（>15%），且每轮训练运行时间加快（约5%）。此外，我们修正了EXACT中关于中间激活图分布（假设为均匀）的假设，并给出了量化和反量化步骤改进的方差估计。
引用
@article{arxiv.2309.11856,
title = {Activation Compression of Graph Neural Networks using Block-wise Quantization with Improved Variance Minimization},
author = {Sebastian Eliassen and Raghavendra Selvan},
journal= {arXiv preprint arXiv:2309.11856},
year = {2024}
}
备注
Accepted to be presented at the International Conference on Acoustics, Speech and Signal Processing (ICASSP-2024). Source code at https://github.com/saintslab/i-Exact