增强少样本学习中的微调：基于选择性采样的领域无关偏差消除
计算机视觉与模式识别
2022-06-06 v2
摘要
在最近的工作中，利用在元训练集上训练的深度网络作为少样本学习的强基线。在本文中，我们进一步通过微调已训练的深度网络来优化新类特征。微调旨在减少新类特征分布中的偏差，我们将其定义为两个方面：类不可知偏差和类特定偏差。类不可知偏差被定义为由领域差异引起的分布偏移，我们提出分布校准模块（DCM）来减少该偏差。DCM 具有消除领域差异和优化过程中快速特征适应的良好特性。类特定偏差被定义为使用新类中少量样本产生的有偏估计，我们提出选择性采样（SS）来减少该偏差。在未推断实际类分布的情况下，SS 通过围绕支持集样本的提议分布进行采样来设计。通过利用 DCM 和 SS 增强微调，我们在 Meta-Dataset 上取得了 SOTA 结果，在来自不同领域的十个数据集上均实现了一致的性能提升。我们相信，这种简单而有效的方法证明了其应用于实际少样本应用的可能性。
引用
@article{arxiv.2204.03749,
title = {Powering Finetuning in Few-Shot Learning: Domain-Agnostic Bias Reduction with Selected Sampling},
author = {Ran Tao and Han Zhang and Yutong Zheng and Marios Savvides},
journal= {arXiv preprint arXiv:2204.03749},
year = {2022}
}
备注
published in AAAI-22