基于少量样本正交对齐的跨模型任务向量迁移
计算机视觉与模式识别
2025-05-20 v1
摘要
任务算术（Task Arithmetic）通过在参数空间中表示任务特定变更，实现了高效的模型编辑。任务算术通常假设源模型和目标模型均初始化于相同的预训练参数，这一假设限制了其在跨模型迁移场景中的应用，即模型独立地在不同数据集上进行预训练。为解决此挑战，我们提出一种基于少量样本正交对齐的方法，对齐任务向量以适配不同预训练目标模型的参数空间。这些转换保留了任务向量的关键属性，如范数和秩，并仅使用少量标记样本进行学习。我们使用在YFCC100M和LAION400M上预训练的两个视觉Transformer模型进行评估，并在八个分类数据集上进行测试。实验结果表明，我们的方法在直接应用任务向量时优于跨模型迁移，同时保持与少量样本微调相当的性能，充分保留了任务向量的模块化和可重用性。我们的代码已公开于https://github.com/kawakera-lab/CrossModelTransfer。
关键词
引用
@article{arxiv.2505.12021,
title = {Cross-Model Transfer of Task Vectors via Few-Shot Orthogonal Alignment},
author = {Kazuhiko Kawamoto and Atsuhiro Endo and Hiroshi Kera},
journal= {arXiv preprint arXiv:2505.12021},
year = {2025}
}
备注
8 pages