面向压缩与域自适应神经网络的频率组合
计算机视觉与模式识别
2025-05-28 v1 人工智能
摘要
现代端侧神经网络应用必须在资源受限的条件下运行，同时适应不可预测的域偏移。然而，这一结合了模型压缩与域适应的复合挑战在很大程度上仍未得到解决，因为先前的工作是孤立地处理每个问题的：压缩网络优先考虑固定域内的效率，而大型、功能强大的模型则专注于处理域偏移。在本工作中，我们提出了 CoDA，一个基于频率组合的框架，统一了压缩与域适应。在训练期间，CoDA 采用量化感知训练（QAT）结合低频分量，使压缩模型能够选择性地学习稳健且可泛化的特征。在测试时，它以无源方式（即测试时适应，TTA）精炼紧凑模型，利用输入数据的全频信息以适应目标域，同时将高频分量视为特定域的线索。低频分量（LFC）与训练分布对齐，而目标分布特有的高频分量（HFC）仅用于批归一化。CoDA 可以协同集成到现有的 QAT 和 TTA 方法中。CoDA 在广泛使用的域偏移基准上进行了评估，包括 CIFAR10-C 和 ImageNet-C，涵盖各种模型架构。在显著压缩的情况下，与全精度 TTA 基线相比，它在 CIFAR10-C 上实现了 7.96%p 的准确率提升，在 ImageNet-C 上实现了 5.37%p 的提升。
引用
@article{arxiv.2505.20890,
title = {Frequency Composition for Compressed and Domain-Adaptive Neural Networks},
author = {Yoojin Kwon and Hongjun Suh and Wooseok Lee and Taesik Gong and Songyi Han and Hyung-Sin Kim},
journal= {arXiv preprint arXiv:2505.20890},
year = {2025}
}
备注
Work in progress