同等技艺奏异曲：探索 Delta 调优的统一优化子空间

Delta 调优（DET，亦称参数高效调优）被视为使用预训练语言模型（PLMs）的新范式。迄今已提出多种具有不同设计要素的 DET，其性能可与微调相媲美。然而，上述成功背后的机制仍待探索，尤其是各类 DET 之间的联系。为探究其中奥秘，我们假设不同 DET 的适配均可被重参数化为统一优化子空间中的低维优化，该子空间可通过联合分解不同 DET 的独立解获得。随后，我们通过在子空间内开展优化来探索不同 DET 间的联系。实验中我们发现，对某一 DET 而言，仅在子空间中进行优化即可取得与其原始空间相当的 performance，且在子空间中求得的解可迁移至另一 DET 并取得非平凡性能。我们还对子空间的性能地形进行了可视化，发现存在一个可观区域使得不同 DET 均表现良好。最后，我们拓展分析并展示了微调与 DET 之间的强联系。