利用多任务高斯过程寻找非均匀量化方案
计算机视觉与模式识别
2020-07-21 v2
摘要
我们提出了一种新颖的神经网络量化方法，将神经架构搜索问题转化为超参数搜索问题，以在 CNN 的各层中寻找非均匀比特分布。我们假设多任务高斯过程（Multi-Task Gaussian Processes）先验来执行搜索，该先验将问题拆分为多个任务，每个任务对应不同的训练轮数，并通过采样那些能产生最大信息的配置来探索空间。然后我们表明，在最后几层使用显著更低的精度时，我们以可观的内存节省实现了最小的精度损失。我们使用 VGG、ResNet 和 GoogLeNet 架构在 CIFAR10 和 ImageNet 数据集上验证了我们的发现。
引用
@article{arxiv.2007.07743,
title = {Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian Processes},
author = {Marcelo Gennari do Nascimento and Theo W. Costain and Victor Adrian Prisacariu},
journal= {arXiv preprint arXiv:2007.07743},
year = {2020}
}
备注
Accepted for publication at ECCV 2020. Code availiable at https://code.active.vision . Updated for typo