LORS：用于参数高效网络堆叠的低秩残差结构
计算机视觉与模式识别
2024-03-08 v1
摘要
深度学习模型，特别是基于 Transformer 的模型，通常采用大量堆叠结构，这些结构具有相同的架构并执行相似的功能。虽然有效，但这种堆叠范式导致参数量大幅增加，给实际应用带来挑战。在当今模型日益庞大的格局中，堆叠深度甚至可达数十层，进一步加剧了这一问题。为缓解此问题，我们引入了 LORS（低秩残差结构）。LORS 允许堆叠模块共享大部分参数，每个模块仅需少量独特参数即可匹配甚至超越使用完全独立参数的性能，从而显著减少参数用量。我们通过将其应用于基于查询的目标检测器的堆叠解码器来验证该方法，并在广泛使用的 MS COCO 数据集上进行了大量实验。实验结果证明了该方法的有效性，即使解码器参数减少 70%，我们的方法仍能使模型实现可比或更优的性能。
引用
@article{arxiv.2403.04303,
title = {LORS: Low-rank Residual Structure for Parameter-Efficient Network Stacking},
author = {Jialin Li and Qiang Nie and Weifu Fu and Yuhuan Lin and Guangpin Tao and Yong Liu and Chengjie Wang},
journal= {arXiv preprint arXiv:2403.04303},
year = {2024}
}
备注
9 pages, 5 figures, 11 tables, CVPR2024 accepted