Res-Attn：具有轻量级注意力机制的增强型 Res-Tuning 方法
计算机视觉与模式识别
2023-12-29 v1
摘要
Res-Tuning 引入了一种灵活高效的模型微调范式，表明与主干网络解耦的调谐器可以实现与传统方法相当的性能。现有方法通常将调谐器构建为一组可训练的低秩分解矩阵，假设低秩子空间足以将预训练基础模型适应到新场景。在这项工作中，我们提出了一种增强的、带有低秩注意力的有效调谐器，称为 Res-Attn，它同样遵循 Res-Tuning 框架。Res-Attn 利用配备了用于查询、键和值的低秩投影的并行多头注意力模块来执行简化的注意力操作。通过训练这种轻量级注意力模块，Res-Attn 促进了对新场景的适应。我们在一系列判别性和生成性任务上的广泛实验表明，与现有替代方案相比，我们的方法具有卓越的性能。
引用
@article{arxiv.2312.16916,
title = {Res-Attn : An Enhanced Res-Tuning Approach with Lightweight Attention Mechanism},
author = {Chaojie Mao and Zeyinzi Jiang},
journal= {arXiv preprint arXiv:2312.16916},
year = {2023}
}
备注
4 pages, 2 figures, Technical Report