领域内数据真的必要吗？网络量化中跨域校准的初步研究
机器学习
2021-05-18 v1 计算机视觉与模式识别
摘要
训练后量化方法使用一组校准数据来计算网络参数与激活值的量化范围。校准数据通常来自训练数据集，但由于数据的敏感性，这些数据集可能无法获取。在本文中，我们旨在研究这样一个问题：在不知晓原始数据集的情况下，我们能否使用域外数据来校准已训练的网络？具体而言，我们超越了自然图像领域，纳入了差异极大的领域，如X射线图像、卫星图像和超声图像。我们发现，在10个不同图像领域的任务中使用13个不同的校准数据集时，跨域校准对量化模型的性能影响出奇地稳定。我们还发现，量化模型的性能与源域和校准域之间Gram矩阵的相似性相关，这可作为选择校准集以提升性能的标准。我们相信，我们的研究为借用跨域知识进行网络量化与压缩打开了大门。
引用
@article{arxiv.2105.07331,
title = {Is In-Domain Data Really Needed? A Pilot Study on Cross-Domain Calibration for Network Quantization},
author = {Haichao Yu and Linjie Yang and Humphrey Shi},
journal= {arXiv preprint arXiv:2105.07331},
year = {2021}
}