物理先验混合器适配器用于参数高效微调

大多数参数高效微调(PEFT)方法依赖低秩表示来调整模型，但这些方法往往过于简化，尤其是在底层数据具有高秩或高频成分时。此限制阻碍了模型有效捕获复杂数据相互作用的能力。本文提出一种新方法，通过结合物理先验来建模网络权重，从而实现更精确的近似。我们采用三种基础方程——热扩散、波传播和泊松稳态方程——每个方程贡献独特的建模特性：热扩散实现局部平滑，波传播促进远程相互作用，泊松方程捕获全局平衡。为有效组合这些先验，我们引入混合物理先验适配器(MoPPA)，并采用高效的离散余弦变换(DCT)实现。为动态平衡这些先验，设计了一条路由正则化机制以自适应调节其贡献。MoPPA 作为一个轻量级、即插即用的模块，可无缝集成到 transformer 架构中，具体复杂度可根据局部上下文进行调整。具体而言，使用 MAE 预训练的 ViT-B，MoPPA 在 VTAB-1K 图像分类任务中通过最多 2.1% 的准确率提升实现了 PEFT，同时所需的可训练参数数量相当。实验结果进一步验证了 MoPPA 在各种视觉骨干网络上的有效性和适应性。代码将公开 disponible。