OWLed：面向高效自动驾驶框架的异常值加权逐层剪枝
机器学习
2025-08-06 v3 机器人学
摘要
将大语言模型（LLM）集成到自动驾驶系统中，有望在环境理解和决策制定方面带来显著提升。然而，在车载端本地部署 LLM 的巨大计算需求使得该方法在现实汽车应用中不可行。为应对这一挑战，我们提出了 OWLed，即面向高效自动驾驶框架的异常值加权逐层剪枝，利用异常值加权逐层稀疏性进行模型压缩。我们的方法根据异常特征分布为不同层分配非均匀稀疏率，在无需微调的情况下显著减小模型体积。为确保压缩模型良好适应自动驾驶任务，我们将驾驶环境数据纳入校准和剪枝过程。实证研究表明，编码器组件对剪枝的敏感度高于 LLM，凸显了其在系统中的关键作用。实验结果显示，OWLed 在感知、动作预测和语言理解方面优于现有方法，同时大幅降低计算需求。这些发现凸显了将先进剪枝技术与 LLM 相结合，开发能够处理复杂场景的高效鲁棒自动驾驶系统的潜力。代码将公开发布。
引用
@article{arxiv.2411.07711,
title = {OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework},
author = {Jiaxi Li and Lu Yin and Xilu Wang},
journal= {arXiv preprint arXiv:2411.07711},
year = {2025}
}
备注
IJCNN2025