基于 RDP 几何驱动的 LoRA 大语言模型参数高效适配
机器学习
2026-04-22 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
尽管采用低秩适应 (LoRA) 等参数高效方法，大语言模型的微调仍然存在结构性不确定性，因为内部表示的层级特定作用 poorly understood，导致对哪些层应该应用适应性做出启发式决策。我们将隐藏状态的演化建模为高维几何轨迹，提出使用 Ramer-Douglas-Peucker (RDP) 算法，这是一种无参数且无训练的多边形简化方法，能够保留全局结构转变，同时消除局部冗余变更，用于识别表示路径上的关键断点。关键在于，我们不仅将这些几何枢轴用于分析，更用作确定在参数高效微调期间应适应哪些层的直接决策信号。通过将这种几何感知的层选择策略集成到 Qwen3-8B-Base 的 LoRA 微调中，我们在 MMLU-Math 上仅使用 13 个 RDP 所选层 (81.67%) 即实现了优异的性能，显著优于完整的 36 层适应 (79.32%)、随机选择 13 层 (75.56%) 以及基线 Qwen3-8B-Base 模型 (74.25%)。这些结果表明，利用表示轨迹的内在几何结构为优化模型适应期间的层选择提供了一种稳健、可解释且无训练的信号。
引用
@article{arxiv.2604.19321,
title = {RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models},
author = {Yusuf Çelebi and Yağız Asker and Özay Ezerceli and Mahmoud ElHussieni and Selva Taş and Reyhan Bayraktar and Fatma Betül Terzioğlu},
journal= {arXiv preprint arXiv:2604.19321},
year = {2026}
}