平坦化长程损失景观以用于跨域少样本学习
计算机视觉与模式识别
2024-04-22 v2 人工智能
摘要
跨域少样本学习 (Cross-domain few-shot learning, CDFSL) 旨在利用从具有丰富训练样本的源域转移的先验知识，从目标域的有限训练数据中获取知识。CDFSL 面临在异构域间转移知识以及利用有限训练数据微调模型的挑战。为应对这些挑战，我们最初将损失景观的分析从参数空间扩展到表示空间，这使我们能够同时解释 CDFSL 模型的转移和微调困难。我们观察到，表示空间损失景观中的尖锐极小值会导致难以转移和微调的表示。此外，现有的基于平坦度的方法由于其短程平坦性而泛化能力有限。为了增强可转移性并促进微调，我们引入了一种简单而有效的方法，以实现损失景观中极小值的长程平坦化。该方法将不同归一化的表示视为损失景观中的极小值，并通过随机采样插值表示来平坦化中间的高损失区域。我们将此方法实现为一个新的归一化层，取代了 CNN 和 ViT 中的原始层。该层简单且轻量，仅引入极少量的额外参数。在 8 个数据集上的实验结果表明，我们的方法在平均准确率方面优于最新技术 (SOTA) 方法。此外，与当前最佳方法相比，我们的方法在个别数据集上实现了高达 9\% 的性能提升。我们的代码将会发布。
引用
@article{arxiv.2403.00567,
title = {Flatten Long-Range Loss Landscapes for Cross-Domain Few-Shot Learning},
author = {Yixiong Zou and Yicong Liu and Yiman Hu and Yuhua Li and Ruixuan Li},
journal= {arXiv preprint arXiv:2403.00567},
year = {2024}
}