基于剪枝四元数的分数级神经网络
机器学习
2023-08-15 v1 计算机视觉与模式识别
摘要
当代最先进的神经网络参数量日益庞大，阻碍其在计算能力受限设备上的部署。剪枝是一种移除不必要权重、降低训练与推理资源需求的技术。此外，对于输入数据为多维的机器学习任务，使用复数或四元数等更高维数据嵌入已被证明可在保持精度的同时减少参数量。本工作中，我们在不同架构的分类任务上对实值与四元数值实现进行剪枝。我们发现，对于某些架构，在极高稀疏度下，四元数模型比其实值对应模型具有更高精度。例如，在使用 Conv-4 对 CIFAR-10 进行图像分类的任务中，在参数量为原模型 3% 时，剪枝四元数版本比剪枝实值版本高出 10% 以上。在各种网络架构与数据集上的实验表明，在极度资源受限环境中部署时，稀疏四元数网络可能比同架构的实值稀疏模型更优。
引用
@article{arxiv.2308.06780,
title = {Neural Networks at a Fraction with Pruned Quaternions},
author = {Sahel Mohammad Iqbal and Subhankar Mishra},
journal= {arXiv preprint arXiv:2308.06780},
year = {2023}
}