面向跨域少样本学习的任务特定预条件器
机器学习
2024-12-23 v1 人工智能
计算机视觉与模式识别
摘要
跨域少样本学习（CDFSL）方法通常使用任务无关参数和任务特定参数对模型进行参数化。为了适应任务特定参数，近期的方法采用了固定的优化策略，尽管它们在不同的域或目标任务之间可能存在次优性。为了解决这一问题，我们提出了一种新颖的适应机制，称为任务特定预条件梯度下降（TSP）。我们的方法首先元学习域特定预条件器（DSP），以捕获每个元训练域的特征，然后使用任务系数将它们线性组合以形成任务特定预条件器。该预条件器被应用于梯度下降，使优化能够适应目标任务。我们将预条件器约束为正定矩阵，引导预条件后的梯度朝向最速下降方向。在Meta-Dataset上的实证评估表明，TSP在多种实验场景中均取得了SOTA性能。
引用
@article{arxiv.2412.15483,
title = {Task-Specific Preconditioner for Cross-Domain Few-Shot Learning},
author = {Suhyun Kang and Jungwon Park and Wonseok Lee and Wonjong Rhee},
journal= {arXiv preprint arXiv:2412.15483},
year = {2024}
}
备注
Accepted by AAAI 2025