为高效微调 3D 基础模型而矿掠属性子空间
计算机视觉与模式识别
2026-05-27 v2
摘要
随着 3D 基础模型的出现，越来越多的人关注如何为下游任务进行微调，其中 LoRA 是主导的微调范式。由于 3D 数据集在纹理、几何、相机运动和照明等方面存在差异，存在有趣的根本问题：1)是否存在每种变体类型的 LoRA 子空间？2)这些子空间是否被解耦（即彼此正交）？3)我们如何有效地计算这些子空间？本文为所有这些问题提供了答案。我们引入一种稳健的方法，通过生成受控变体的合成数据集，对每个数据集上的 LoRA 适配器进行微调，并提取与每种变体类型相关的 LoRA 子空间。我们证明这些子空间大致上是解耦的。将它们整合在内可实现一个缩减版的 LoRA 子空间，从而实现针对下游任务的高效 LoRA 微调并提高预测精度。特别是，我们证明尽管该缩减版 LoRA 子空间完全源自合成数据，却能泛化到真实数据集。消融研究验证了我们方法中的各项选择的有效性。
引用
@article{arxiv.2604.10095,
title = {Mining Attribute Subspaces for Efficient Fine-tuning of 3D Foundation Models},
author = {Yu Jiang and Hanwen Jiang and Ahmed Abdelkader and Wen-Sheng Chu and Brandon Y. Feng and Zhangyang Wang and Qixing Huang},
journal= {arXiv preprint arXiv:2604.10095},
year = {2026}
}
备注
10 pages, 8 figures. Code here: https://github.com/jpppppppppppppppppppppppp/Subspaces-Mining-for-VGGT