KARST：用于视觉分类的多核Kronecker适应与重新比例传输

为特定任务微调预训练视觉模型是计算机视觉中的常见做法。然而，随着模型规模的增大，这一过程变得更加昂贵。最近，参数高效微调（PEFT）方法作为一种流行解决方案，通过在预训练主干网络中调整额外的低秩模块来提高训练效率并减少存储需求。尽管具有上述优势，但它们在表示能力和与预训练中间特征对齐方面存在局限。为此，我们引入一种创新的多核Kronecker适应与重新比例传输（KARST）用于各种识别任务。具体而言，其多核设计水平扩展Kronecker投影，并将适应矩阵分离到多个互补空间中，减少参数依赖性并创建更紧凑的子空间。此外，它包含额外的可学习重新比例因子，以更好地对齐预训练特征分布，允许更灵活和平衡的特征聚合。广泛的实验验证了KARST在因其重参数化特性而几乎不增加推理成本的情况下超越了其他PEFT对手。代码已公开：https://github.com/Lucenova/KARST。