HyperLoader: 将基于超网络的 LoRA 与适配器层集成到多任务 Transformer 中用于序列标注
计算与语言
2024-08-27 v3
摘要
我们提出了 HyperLoader，一种一种简单的方法，将不同的参数高效微调方法在多任务设置中集成。为此，Our model 使用一个超网络根据任务、Transformer 层及其在该层中的位置生成这些模块的权重。Our方法通过捕捉所有任务的结构，同时通过封装任务特定知识于生成的权重中来减少任务干扰问题，结合不同参数高效方法的优势，以超越全参数微调的性能。我们提供的实证证据表明，HyperLoader 在大多数数据集上优于先前方法，并在高资源和低资源场景中获得最佳平均性能。
引用
@article{arxiv.2407.01411,
title = {HyperLoader: Integrating Hypernetwork-Based LoRA and Adapter Layers into Multi-Task Transformers for Sequence Labelling},
author = {Jesus-German Ortiz-Barajas and Helena Gomez-Adorno and Thamar Solorio},
journal= {arXiv preprint arXiv:2407.01411},
year = {2024}
}