DiffKendall：基于可微分 Kendall 秩相关的少样本学习新方法
计算机视觉与模式识别
2023-10-25 v2 人工智能
机器学习
多媒体
摘要
少样本学习旨在将基数据集上训练的模型适配到模型此前未见过类别的新任务。这常导致新类别上跨通道的特征值分布相对均匀，给确定新任务的通道重要性带来挑战。标准少样本学习方法采用余弦相似度与负欧氏距离等几何相似性度量来评估两个特征间的语义相关性。然而，具有高几何相似性的特征可能携带不同语义，尤其在少样本学习情境下。本文中，我们证明特征通道的重要性排序比几何相似性度量更可靠地指示少样本学习。我们观察到，仅在推理时用 Kendall 秩相关替换几何相似性度量，便能在涵盖不同领域的广泛方法与数据集上提升少样本学习性能。此外，我们提出一种精心设计的用于元训练的可微分损失，以解决 Kendall 秩相关的不可微分问题。通过以可微分 Kendall 秩相关替换几何相似性，我们的方法可与众多现有少样本方法集成，并便于未来依赖几何相似性度量的先进方法集成。大量实验验证了基于秩相关方法的有效性，展现出少样本学习的显著提升。
引用
@article{arxiv.2307.15317,
title = {DiffKendall: A Novel Approach for Few-Shot Learning with Differentiable Kendall's Rank Correlation},
author = {Kaipeng Zheng and Huishuai Zhang and Weiran Huang},
journal= {arXiv preprint arXiv:2307.15317},
year = {2023}
}
备注
Accepted by NeurIPS 2023