作为域适应的少样本学习：算法与分析
机器学习
2020-07-28 v3 机器学习
摘要
为了仅用少量样本识别未见类，少样本学习（FSL）利用从可见类中学到的先验知识。FSL 的一个主要挑战是未见类的分布不同于可见类的分布，即使模型在可见类上进行了元训练，也会导致泛化能力差。这种由类差异引起的分布偏移可视为域偏移的一种特殊情况。在本文中，我们首次提出一种带注意力的域适应原型网络（DAPNA），在元学习框架中显式解决此类域偏移问题。具体而言，借助基于 set transformer 的注意力模块，我们构建每个回合为两个在可见类上无类重叠的子回合，以模拟可见类与未见类之间的域偏移。为了在有限训练样本下对齐两个子回合的特征分布，采用了特征转移网络以及边际差异差异（MDD）损失。重要的是，我们提供了理论分析以给出 DAPNA 的学习界。大量实验表明，我们的 DAPNA 优于最先进的 FSL 替代方法，且通常优势显著。
引用
@article{arxiv.2002.02050,
title = {Few-Shot Learning as Domain Adaptation: Algorithm and Analysis},
author = {Jiechao Guan and Zhiwu Lu and Tao Xiang and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2002.02050},
year = {2020}
}
备注
There exist some mistakes in the experiments