PVeRA：基于概率向量的随机矩阵自适应
计算机视觉与模式识别
2026-05-01 v2 机器学习
摘要
近年来，大型基础模型不断涌现，并在多种任务上推动性能边界。训练甚至微调此类模型需要庞大的数据集和计算资源，而这些资源往往稀缺且昂贵。自适应方法提供了一种计算高效的解决方案，通过将模型冻结主干网络并仅附加少量可训练模块，使模型能够利用少量数据和算力在新任务上进行微调。最近，VeRA 适配器通过利用跨所有层共享的一对冻结随机低秩矩阵，在参数高效自适应方面表现出色。在本文中，我们提出 PVeRA，即 VeRA 适配器的概率版本，以概率方式修改 VeRA 的低秩矩阵。这种修改自然地允许处理输入中固有的模糊性，并允许在训练和测试期间采用不同的采样配置。我们在 VTAB-1k 基准和七种适配器上进行了全面评估，PVeRA 超越了 VeRA 和其他适配器。我们用于 PVeRA 训练模型和所有适配器基准测试的代码可在 https://github.com/leofillioux/pvera 获取。
引用
@article{arxiv.2512.07703,
title = {PVeRA: Probabilistic Vector-Based Random Matrix Adaptation},
author = {Leo Fillioux and Enzo Ferrante and Paul-Henry Cournède and Maria Vakalopoulou and Stergios Christodoulidis},
journal= {arXiv preprint arXiv:2512.07703},
year = {2026}
}