面向极端任务差异的小样本跨域自训练迁移
计算机视觉与模式识别
2021-03-18 v2 人工智能
机器学习
摘要
大多数小样本学习技术都在大型带标签的“基础数据集”上进行了预训练。在无法获得此类大型带标签数据集用于预训练的问题领域（例如 X 射线、卫星图像）中，必须求助于在不同的“源”问题领域（例如 ImageNet）中进行预训练，而这可能与期望的目标任务差异极大。当源任务与目标任务之间存在这种极端差异时，传统的小样本和迁移学习技术会失效。在本文中，我们提出了一种简单而有效的解决方案来应对这种极端领域鸿沟：在来自目标领域的无标签数据上对源领域表示进行自训练。我们表明，在由多个领域的数据集组成的具有挑战性的 BSCD-FSL 基准上，这平均将目标领域的一次性性能提高了 2.9 个百分点。我们的代码可在 https://github.com/cpphoo/STARTUP 获取。
引用
@article{arxiv.2010.07734,
title = {Self-training for Few-shot Transfer Across Extreme Task Differences},
author = {Cheng Perng Phoo and Bharath Hariharan},
journal= {arXiv preprint arXiv:2010.07734},
year = {2021}
}
备注
Published as a conference paper at ICLR 2021(oral)