Q3R：Quadratic Reweighted Rank Regularizer 用于有效低秩训练的正则化方法

基于低秩优化的高效参数训练已成为微调大型深度学习模型的高度成功工具。然而，这些方法在低秩预训练中常常难以同时维持低秩权重结构和优化任务目标。我们提出了 $\textit{Quadratic Reweighted Rank Regularizer}$（$\texttt{Q3R}$），其灵感来自迭代重加权最小二乘（IRLS）框架，导致了一种新颖的低秩诱导训练策略。$\texttt{Q3R}$ 基于对平滑对数行列式秩替代品的二次正则化项进行主导。与其他低秩训练技术不同，$\texttt{Q3R}$ 能够在保持预测性能与密集模型相当的同时，将权重矩阵训练到指定的低目标秩，且计算开销小，完全兼容现有架构。例如，我们在 ViT-Tiny 上进行 $\texttt{Q3R}$ 正则化实验，使模型参数削减至 $60\%$ 和 $80\%$ 时，在 CIFAR-10 上的绝对准确率下降仅为 $1.3\%$ 和 $4\%$。我们在面向视觉和语言任务的 Transformer 上确认了 $\texttt{Q3R}$ 的有效性，包括低秩微调。