Forecast-PEFT：面向预训练运动预测模型的参数高效微调
计算机视觉与模式识别
2024-07-30 v1 人工智能
机器人学
摘要
近期进步在运动预测领域主要由自监督预训练推动。然而，对特定下游任务（尤其是运动预测）进行大规模微调往往效率低下。这种低效性源于运动预测与掩码式预训练任务高度一致，传统的全参数微调方法无法充分利用这一一致性。为此，我们提出 Forecast-PEFT，一种冻结模型大部分参数、聚焦于新引入的提示词和适配器上的调整的微调策略。该方法不仅保留了预学习的表征，还显著减少了需要重新训练的参数数量，从而提升了效率。这种量身定制的策略辅以高效适应不同数据集的能力，增强了模型效率，确保在无需大规模重新训练的情况下在各数据集上保持稳健的性能。我们的实验表明，Forecast-PEFT 在运动预测任务中超越传统全参数微调方法，仅需通常训练参数的 17% 即可实现更高准确率。此外，我们全面的适配方案 Forecast-FT 进一步提升了预测性能，显示相较于常规基线方法提升最高达 9.6%。代码将发布于 https://github.com/csjfwang/Forecast-PEFT。
引用
@article{arxiv.2407.19564,
title = {Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models},
author = {Jifeng Wang and Kaouther Messaoud and Yuejiang Liu and Juergen Gall and Alexandre Alahi},
journal= {arXiv preprint arXiv:2407.19564},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication