适配器再现

适配器为为转换模型适应各种不同任务提供了一种高效轻量级机制。然而，它们常常被其他适应机制（包括低秩适应）所超越。在本文中，我们对适配器进行深入研究，包括其内部结构以及各种实现选择。我们发现使用适配器的陷阱，并提出一种具体的改进适配器架构，称为Adapter+，该架构不仅涨超越以前的适配器实现，还在多个具有挑战性的设置中超越了更多复杂的适应机制。尽管如此，我们提出的适配器非常稳健， unlike以前的工作，需要很少或几乎不需要手动干预即可解决新情景。Adapter+在VTAB基准测试中实现了最高的平均准确率，即使没有针对每个任务进行超参数优化。