通过混合源与目标嵌入实现分布偏移的少样本自适应
机器学习
2024-05-31 v3 计算与语言
计算机视觉与模式识别
摘要
预训练的机器学习模型在部署到新目标环境时，需要针对分布偏移进行自适应。当从目标分布获取标注数据代价高昂时，仅利用少量目标分布样本的少样本自适应变得至关重要。在本工作中，我们提出 MixPro，一种轻量且数据高效的少样本自适应方法。MixPro 首先通过将大量源数据的预训练嵌入与少量目标样本的嵌入相混合（线性组合）来生成相对较大的数据集。该过程保留了源分布与目标分布的重要特征，同时减轻了小目标数据中的特定噪声。随后，它在混合嵌入上训练线性分类器，以有效将模型自适应到目标分布，而不对小目标数据过拟合。理论上，我们证明了 MixPro 相对于先前方法的优势。我们在 8 个具有不同类型分布偏移的数据集上跨多种模型架构进行的实验表明，MixPro 仅用 2-4 个目标样本即可比基线高出至多 7%。
引用
@article{arxiv.2305.14521,
title = {Few-shot Adaptation to Distribution Shifts By Mixing Source and Target Embeddings},
author = {Yihao Xue and Ali Payani and Yu Yang and Baharan Mirzasoleiman},
journal= {arXiv preprint arXiv:2305.14521},
year = {2024}
}