RTF-Q：基于无需重训练量化的高效无监督域适应
计算机视觉与模式识别
2024-09-16 v2
摘要
在资源受限的边缘设备上进行无监督域适应具有挑战性。现有研究通常采用架构优化（例如设计可伸缩网络），但需要高昂的训练成本。此外，它未考虑参数和激活中相当大的精度冗余。为解决这些局限性，我们提出基于无需重训练量化的高效无监督域适应（RTF-Q）。我们的方法使用具有不同计算成本的低精度量化架构，以适应具有动态计算预算的设备。我们精心配置子网络维度并利用权重共享，在一组权重内优化多个架构，从而能够使用开源仓库中的预训练模型。此外，我们引入多比特宽度联合训练和 SandwichQ 规则，两者均能有效处理子网络中的多种量化比特宽度。实验结果表明，我们的网络在三个基准测试上以最先进方法相当的精度实现了显著降低的内存和计算成本。
引用
@article{arxiv.2408.05752,
title = {RTF-Q: Efficient Unsupervised Domain Adaptation with Retraining-free Quantization},
author = {Nanyang Du and Chen Tang and Yuxiao Jiang and Yuan Meng and Zhi Wang},
journal= {arXiv preprint arXiv:2408.05752},
year = {2024}
}