面向异构客户端的一次性模型自适应：一种客户端内与图像间注意力设计
计算机视觉与模式识别
2022-11-14 v1
摘要
图像识别应用的主流工作流程是首先在云端针对广泛的类别训练一个全局模型，然后为众多客户端提供服务，每个客户端具有来自待识别的小部分类别的异构图像。由于云端与客户端在图像类别范围上的差异，期望识别模型具有强自适应性，直观上是通过将焦点集中在每个单独客户端的局部动态类别子集上，同时产生可忽略的开销。在这项工作中，我们提出将一个新的客户端内与图像间注意力 (ICIIA) 模块插入到现有的主干识别模型中，仅需一次基于云端的训练即可实现客户端自适应。具体而言，给定来自某个客户端的目标图像，ICIIA 引入多头自注意力机制从该客户端的历史无标签图像中检索相关图像，从而校准焦点和识别结果。进一步考虑到 ICIIA 的开销主要由线性投影主导，我们提出以带有特征混洗的分区线性投影作为替代，并允许增加分区数以在不牺牲太多精度的情况下大幅提高效率。我们最终使用 5 个代表性数据集上的 9 个主干模型在 3 个不同的识别任务中评估了 ICIIA。广泛的评估结果证明了 ICIIA 的有效性和高效性。具体而言，对于使用 MobileNetV3-L 和 Swin-B 主干模型的 ImageNet-1K，ICIIA 可以将测试准确率分别提高到 83.37% (+8.11%) 和 88.86% (+5.28%)，而仅分别增加 1.62% 和 0.02% 的 FLOPs。
引用
@article{arxiv.2211.06276,
title = {One-Time Model Adaptation to Heterogeneous Clients: An Intra-Client and Inter-Image Attention Design},
author = {Yikai Yan and Chaoyue Niu and Fan Wu and Qinya Li and Shaojie Tang and Chengfei Lyu and Guihai Chen},
journal= {arXiv preprint arXiv:2211.06276},
year = {2022}
}