基于正弦激活低秩矩阵的高效学习
机器学习
2025-03-18 v5 计算机视觉与模式识别
神经与进化计算
摘要
低秩分解已成为提升神经网络架构参数效率的重要工具，在机器学习的各种应用中获得了广泛采用。这些技术显著降低了参数量，在紧凑性和性能之间取得了平衡。然而，一个常见的挑战是参数效率与模型精度之间的折衷，与全秩对应物相比，参数量的减少往往导致精度下降。在这项工作中，我们提出了一个新颖的理论框架，将正弦函数集成到低秩分解过程中。这种方法不仅保留了低秩方法特有的参数效率优势，还提高了分解的秩，从而增强了模型性能。我们的方法被证明是对现有低秩模型的即插即用增强，其在视觉 Transformer (ViT)、大语言模型 (LLM)、神经辐射场 (NeRF) 和 3D 形状建模中的成功应用证实了这一点。
引用
@article{arxiv.2403.19243,
title = {Efficient Learning With Sine-Activated Low-rank Matrices},
author = {Yiping Ji and Hemanth Saratchandran and Cameron Gordon and Zeyu Zhang and Simon Lucey},
journal= {arXiv preprint arXiv:2403.19243},
year = {2025}
}
备注
The first two authors contributed equally. Paper accepted at ICLR 2025