自适应低秩适应的贝叶斯解释
机器学习
2025-01-14 v2 计算与语言
机器学习
摘要
受自适应低秩适应（AdaLoRA）的基于敏感度的重要性评分启发，我们利用更具理论支撑的指标，包括信噪比（SNR）以及改进的变分在线牛顿（IVON）优化器，来进行自适应参数预算分配。由此产生的贝叶斯对应方法不仅匹配或超越了使用基于敏感度的重要性指标的性能，而且还是使用 Adam 的 AdaLoRA 的更快替代方案。我们的理论分析揭示了这两个指标之间的显著联系，为敏感度作为重要性评分的有效性提供了贝叶斯视角。此外，我们的发现表明，幅度而非方差，才是参数重要性的主要指标。
引用
@article{arxiv.2409.10673,
title = {A Bayesian Interpretation of Adaptive Low-Rank Adaptation},
author = {Haolin Chen and Philip N. Garner},
journal= {arXiv preprint arXiv:2409.10673},
year = {2025}
}
备注
ICASSP 2025