LaX：通过 Latent Crossing 促进基础模型的低秩训练
机器学习
2025-10-28 v2
摘要
训练基础模型（如 ViTs 和 LLMs）需要巨大的计算成本。低秩矩阵或张量分解提供了一种参数高效的替代方案，但由于参数空间受限，往往会降低性能。在本工作中，我们引入了 {\textbf{Latent Crossing (LaX)}}——一个简单而有效的即插即用模块，通过实现低秩子空间间的信息流动来增强低秩模型的容量。我们在 ViT-Base/Large 和 60M 至 1B 参数的 LLaMA-like 模型的预训练任务上广泛验证了 LaX 的优势。LaX 提升了低秩模型的性能，使其在使用少 2-3 参数的情况下匹配或超越全秩基线。当配备低秩适配器（即 LoRA）对 LLaMA-7/13B 进行微调时，LaX 以可忽略的成本持续提升算术和常识推理任务的性能。
引用
@article{arxiv.2505.21732,
title = {LaX: Boosting Low-Rank Training of Foundation Models via Latent Crossing},
author = {Ruijie Zhang and Ziyue Liu and Zhengyang Wang and Zheng Zhang},
journal= {arXiv preprint arXiv:2505.21732},
year = {2025}
}