基于图像到类稀疏相似度编码的小样本无监督域适应
计算机视觉与模式识别
2021-08-09 v1 多媒体
摘要
本文研究了一种文献中尚未充分研究的有价值设定，称为小样本无监督域适应（FS-UDA）。在该设定下，源域数据有标签但每类为小样本，而目标域数据无标签。为解决 FS-UDA 设定，我们开发了一个通用 UDA 模型来处理以下两个关键问题：每类小样本标签数据，以及支持集与查询集之间的域适应。我们的模型具有通用性，一旦训练完成，便可应用于来自相同源域和目标域的各种 FS-UDA 任务。受近期基于局部描述符的小样本学习（FSL）启发，我们的通用 UDA 模型完全构建于局部描述符（LDs）之上，用于图像分类与域适应。通过提出称为相似度模式（SPs）的新概念，我们的模型不仅有效考虑了先前 FSL 方法忽略的 LDs 空间关系，还使学到的图像相似度更好地服务于所需的域对齐。具体而言，我们提出一种新颖的图像到类稀疏相似度编码（IMSE）方法。它学习 SPs 以提取用于分类的局部判别信息，同时对齐 SPs 的协方差矩阵以实现域适应。此外，在 LDs 上执行域对抗训练与多尺度局部特征匹配。在多域基准数据集 DomainNet 上的大量实验证明了我们的 IMSE 在 FS-UDA 新设定下的 SOTA 性能。此外，对于 FSL，我们的 IMSE 在 miniImageNet 上也能展示出优于多数近期 FSL 方法的性能。
引用
@article{arxiv.2108.02953,
title = {Few-shot Unsupervised Domain Adaptation with Image-to-class Sparse Similarity Encoding},
author = {Shengqi Huang and Wanqi Yang and Lei Wang and Luping Zhou and Ming Yang},
journal= {arXiv preprint arXiv:2108.02953},
year = {2021}
}
备注
Proceedings of the 29th ACM International Conference on Multimedia (MM '21)