用于测试时自适应的即插即用Transformer模块
机器学习
2024-02-12 v3 人工智能
摘要
LoRA、Adapter和Visual Prompt Tuning (VPT)等参数高效微调（PET）方法通过调整Transformer模型中的小型模块，成功实现了对新领域的自适应。然而，测试时遇到的领域数量可能非常庞大，且数据通常无标签。因此，对新领域的自适应具有挑战性；为每个这样的领域生成定制的微调模块也不切实际。为解决这些挑战，本文提出了PLUTO：一种即插即用的模块化测试时领域自适应策略。我们预训练了大量模块，每个模块专门针对不同的源领域，从而有效地创建了一个“模块库”。给定一个具有少量无标签数据的目标领域，我们引入一种无监督测试时自适应（TTA）方法，以（1）从该库中选择一个稀疏的相关模块子集，并（2）在不调整其权重的情况下创建所选模块的加权组合。这种即插即用的特性使我们能够在单次推理调用中利用多个最相关的源领域。综合评估表明，PLUTO一致优于其他TTA方法，并且选择5个模块就足以获取大部分收益。从更高层面看，我们的方法使预训练的Transformer具备了动态适应新领域的能力，从而为高效且可扩展的领域自适应开创了一种新范式。
引用
@article{arxiv.2401.04130,
title = {Plug-and-Play Transformer Modules for Test-Time Adaptation},
author = {Xiangyu Chang and Sk Miraj Ahmed and Srikanth V. Krishnamurthy and Basak Guler and Ananthram Swami and Samet Oymak and Amit K. Roy-Chowdhury},
journal= {arXiv preprint arXiv:2401.04130},
year = {2024}
}