基于检索的训练/测试时自适应
计算机视觉与模式识别
2023-03-28 v1 人工智能
摘要
我们提出基于检索的训练/测试时自适应（），这是一种通过检索模块和可搜索的外部样本池在训练时和测试时均对模型进行自适应的方法。在推理之前， 使用精炼的伪标签和自监督对比目标函数，将给定模型自适应到下游任务，该目标函数的噪声分布利用检索到的真实样本来改进目标数据流形上的特征自适应。真实图像的检索是 的关键，因为它不像其他自适应算法通常所做的那样，仅依赖合成数据增强来弥补自适应数据的缺乏。此外，得益于检索模块，我们的方法为用户或服务提供商提供了通过纳入更多相关数据或完全移除因部署后用户偏好变化而不再可用的样本，来改进模型在下游任务上自适应的可能。首先，我们展示了 可在训练时使用，以在标准微调基线上改进细粒度分类，且自适应数据越少相对提升越高（高达 13%）。其次，我们将 应用于测试时自适应，并表明在 DomainNet-126 和 VISDA-C 上，利用测试时的外部图像池相比现有方法可获得更鲁棒的表示，尤其在自适应数据较少时（高达 8%）。
引用
@article{arxiv.2303.14333,
title = {Train/Test-Time Adaptation with Retrieval},
author = {Luca Zancato and Alessandro Achille and Tian Yu Liu and Matthew Trager and Pramuditha Perera and Stefano Soatto},
journal= {arXiv preprint arXiv:2303.14333},
year = {2023}
}