基于互信息上界（MIUB）的LoRA扩展定律
机器学习
2025-01-07 v1 人工智能
摘要
LoRA（Low-Rank Adaptation）是一种广泛使用的模型微调方法。在微调过程中，模型性能、模型参数和数据复杂度之间的关系一直是该领域的焦点问题。现有方法通常利用外部指标（如交叉熵或困惑度）来评估模型性能。在大型模型的微调过程中，通常涉及两种类型的知识：一种是模型在预训练期间获得的冻结的、通用的知识；另一种是通过LoRA模块从当前数据中学习的新知识。一般情况下，LoRA所学习的知识越少地依赖于大型模型，即可捕获对新数据的特定知识，从而增强其对新任务的适应性。然而，外部指标并不容易捕捉这两种类型知识之间的依赖关系。因此，我们基于互信息上界（MIUB）理论设计了一个内部指标，用于探讨大型模型LoRA微调的扩展定律。在我们的实验中，我们在基准数据集上验证了该方法，使用Llama3-8B和Phi3-3B模型。结果表明，提出的MIUB指标与LoRA微调的扩展定律更加准确和稳定，相较于交叉熵和困惑度。
引用
@article{arxiv.2501.03152,
title = {The Scaling Law for LoRA Base on Mutual Information Upper Bound},
author = {Jing Zhang and Hui Gao and Peng Zhang and Shuzhen Sun and Chang Yang and Yuexian Hou},
journal= {arXiv preprint arXiv:2501.03152},
year = {2025}
}