基于蒸馏的实例感知模型集成用于无监督域适应
计算机视觉与模式识别
2022-11-16 v1
摘要
基于线性集成的策略，即平均集成，已被提出用于提升无监督域适应（UDA）任务中的性能。然而，典型的 UDA 任务通常受到动态变化因素的挑战，例如无标注目标域中多变的天气、视角和背景。以往多数集成策略忽略了 UDA 动态且不可控的挑战，面临有限的特征表示与性能瓶颈。为增强模型在域间的适应性并降低部署集成模型时的计算成本，我们提出一个新框架，即基于蒸馏的实例感知模型集成（IMED），其根据不同实例自适应融合多个 UDA 组件模型，并将这些组件蒸馏为一个小模型。IMED 的核心思想是一种动态实例感知集成策略，其中对每个实例学习一个非线性融合子网络，以融合多个组件模型提取的特征与预测的标签。该非线性融合方法可帮助集成模型处理动态变化因素。在学到对不同变化因素具有良好适应性的大容量集成模型后，我们利用集成教师模型通过知识蒸馏引导紧凑学生模型的学习。此外，我们给出了 IMED 用于 UDA 有效性的理论分析。在多个 UDA 基准数据集（如 Office 31、Office Home 和 VisDA 2017）上开展的广泛实验表明，在可比计算成本下，基于 IMED 的模型优于当前最优（SOTA）方法。
引用
@article{arxiv.2211.08106,
title = {Instance-aware Model Ensemble With Distillation For Unsupervised Domain Adaptation},
author = {Weimin Wu and Jiayuan Fan and Tao Chen and Hancheng Ye and Bo Zhang and Baopu Li},
journal= {arXiv preprint arXiv:2211.08106},
year = {2022}
}
备注
12 pages