投影与探测：通过插值正交特征实现样本高效域适应
机器学习
2023-05-26 v2 人工智能
摘要
利用少量目标数据进行迁移学习，是将预训练模型适应分布偏移的有效且常用方法。在某些情况下，目标数据标签的获取可能代价高昂，因此我们只能访问有限数量的目标数据点。为了充分利用极小的目标数据集，我们提出了一种轻量、样本高效的方法，该方法学习一组多样化的特征，并通过插值这些特征来适应目标分布。我们的方法Project and Probe（Pro）首先学习一个线性投影，将预训练嵌入映射到正交方向上，同时对源数据集中的标签具有预测性。此步骤的目标是学习多种预测性特征，以便至少其中一些在分布偏移后仍然有用。Pro随后使用小型目标数据集在这些投影特征之上学习线性分类器。理论上，我们发现Pro通过诱导有利的偏差-方差权衡，实现了更具样本高效的泛化。我们在四个数据集上的实验，每个数据集具有多种分布偏移设定，表明与标准线性探测等先前方法相比，在给定有限目标数据时，Pro将性能提升了5-15%。
引用
@article{arxiv.2302.05441,
title = {Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features},
author = {Annie S. Chen and Yoonho Lee and Amrith Setlur and Sergey Levine and Chelsea Finn},
journal= {arXiv preprint arXiv:2302.05441},
year = {2023}
}
备注
22 pages, 9 figures