用于类增量量化学习的整数哈达玛域训练
机器学习
2023-10-06 v1
摘要
持续学习是许多现代机器学习应用中的理想特性，其允许现场适应与更新，范围涵盖应对分布偏移、微调以及学习新任务。对于具有隐私和低延迟需求的应用，持续学习带来的计算和内存需求对资源受限的边缘平台而言可能成本高昂。通过全量化训练(FQT)降低计算精度可同时减少内存占用并提升训练与推理的计算效率。然而，激进量化尤其是整数 FQT 通常会将模型精度降至不可接受的水平。本文中，我们提出一种利用廉价哈达玛变换以实现仅含整数矩阵乘法的低精度训练的技术。我们进一步确定哪些张量需要随机舍入，并提出分块矩阵乘法以支持低比特宽度累加器。我们在多个人类活动识别数据集和 CIFAR100 的类增量学习设定下展示了技术的有效性。当我们把所有矩阵乘法输入量化为 4-bit 且累加器为 8-bit 时，实现了低于 0.5% 和 3% 的精度下降。
引用
@article{arxiv.2310.03675,
title = {Hadamard Domain Training with Integers for Class Incremental Quantized Learning},
author = {Martin Schiemer and Clemens JS Schaefer and Jayden Parker Vap and Mark James Horeni and Yu Emma Wang and Juan Ye and Siddharth Joshi},
journal= {arXiv preprint arXiv:2310.03675},
year = {2023}
}