HyDRA：面向移动视觉语言模型的层次化与动态秩适应
机器学习
2025-12-25 v1 人工智能
计算机视觉与模式识别
摘要
视觉语言模型（VLMs）取得了显著进展，尤其是 emerge 面向移动端的 VLMs，提供了广泛的应用场景。然而，这些模型的训练所需的计算资源显著，构成了实际应用的重要障碍。为此，提出了低秩适应（LoRA）。然而，秩固定的标准 LoRA 在训练处理文本和图像两种模态的移动 VLMs 时，能力不足。本文引入 HyDRA，一个为移动 VLMs 实施层次化和动态秩调度的参数高效微调框架。该框架包含两个关键优化策略：（1）层次化优化，包括对不同层分配不同秩的粗粒度方法，以及对单个层内秩进行调整的细粒度方法；（2）动态调整，采用轻量级性能模型在微调过程中自动确定和调整秩。在流行基准上的全面实验表明，HyDRA 均优于基线，各模型规模下均实现约 4.7% 的提升，且未增加可训练参数的数量。在某些任务中，甚至超越了全参数微调。
引用
@article{arxiv.2512.20674,
title = {HyDRA: Hierarchical and Dynamic Rank Adaptation for Mobile Vision Language Model},
author = {Yuanhao Xi and Xiaohuan Bing and Ramin Yahyapour},
journal= {arXiv preprint arXiv:2512.20674},
year = {2025}
}