少样本学习的任务属性距离：理论分析与应用
计算机视觉与模式识别
2024-03-07 v1 机器学习
摘要
少样本学习 (FSL) 旨在通过利用来自相关训练任务的经验，使用极少的标记样本来学习新任务。在本文中，我们试图通过深入探讨两个关键问题来理解 FSL：(1) 如何量化训练任务与新任务之间的关系？(2) 这种关系如何影响不同模型在新任务上的适应难度？为了回答这两个问题，我们引入了基于属性的任务属性距离 (TAD) 作为量化任务相关性的度量。与许多现有度量不同，TAD 与模型无关，使其适用于不同的 FSL 模型。随后，我们利用 TAD 度量建立了任务相关性与任务适应难度之间的理论联系。通过推导新任务上的泛化误差界，我们发现了 TAD 如何衡量 FSL 模型在新任务上的适应难度。为了验证我们的 TAD 度量及理论发现，我们在三个基准数据集上进行了实验。实验结果证实，TAD 度量有效地量化了任务相关性，并反映了各种 FSL 方法在新任务上的适应难度，即使其中一些方法未显式学习属性或没有人工标注的属性可用。最后，我们展示了所提出的 TAD 度量的两个应用：数据增强和测试时干预，这进一步验证了其有效性和通用适用性。源代码可在 https://github.com/hu-my/TaskAttributeDistance 获取。
引用
@article{arxiv.2403.03535,
title = {Task Attribute Distance for Few-Shot Learning: Theoretical Analysis and Applications},
author = {Minyang Hu and Hong Chang and Zong Guo and Bingpeng Ma and Shiguan Shan and Xilin Chen},
journal= {arXiv preprint arXiv:2403.03535},
year = {2024}
}