参数高效多任务学习的频率切换机制
计算机视觉与模式识别
2026-03-24 v1 机器学习
摘要
多任务学习 (MTL) 旨在使单个模型能够高效地解决多个任务；然而，当前的参数高效微调 (PEFT) 方法仍主要局限于单任务适应。我们引入了\textbf{Free Sinewich}，一个参数高效的多任务学习框架，使权重调制几乎为零成本，通过频率切换实现（\textbf{Free}）。具体来说，\textbf{Sine-AWB (Sinewich)} 层将低秩因子和卷积先验整合为单个 kernel，然后通过正弦变换元素级调制以产生任务特定的权重。引入一个轻量级 Clock Net 以产生受限频率，稳定训练期间的调制。理论上，正弦调制增强了低秩适配器的秩，而频率分离解耦了不同任务的权重。在密集预测基准上，Free Sinewich 实现了最先进的性能-效率权衡（例如，仅使用 6.53M 可训练参数即可实现对单任务微调的提升最高达 +5.39%），提供了一个基于频率的紧凑且可扩展的参数共享范式。项目页面: \href{https://casperliuliuliu.github.io/projects/Free-Sinewich/}{https://casperliuliuliu.github.io/projects/Free-Sinewich}。
引用
@article{arxiv.2603.21111,
title = {Frequency Switching Mechanism for Parameter-E!cient Multi-Task Learning},
author = {Shih-Wen Liu and Yen-Chang Chen and Wei-Ta Chu and Fu-En Yang and Yu-Chiang Frank Wang},
journal= {arXiv preprint arXiv:2603.21111},
year = {2026}
}
备注
Accepted to CVPR 2026