基于Transformer的定向目标检测器低秩适应用于卫星星载遥感图像处理
计算机视觉与模式识别
2024-06-05 v1
摘要
卫星上的深度学习模型能够实时解释遥感图像，减少向地面传输数据的需求并节省通信资源。随着卫星数量和观测频率的增加，对卫星星载实时图像解释的需求也在增长，凸显了这项技术日益增长的重要性和发展。然而，由于无线卫星通信中上行链路带宽的限制，更新部署在卫星上的星载目标检测模型的大量参数具有挑战性。为了解决这个问题，本文提出了一种基于参数高效微调技术（低秩适应LoRA模块）的方法。它涉及训练低秩矩阵参数，并通过乘法和求和将其与原始模型的权重矩阵集成，从而微调模型参数以适应新的数据分布，同时最小化权重更新。所提出的方法在定向目标检测算法架构的参数更新策略中结合了参数高效微调与全微调。该策略能够在最小参数更新的情况下实现接近全微调效果的模型性能提升。此外，进行了低秩近似以选择LoRA矩阵的最优秩值。大量实验验证了所提出方法的有效性。通过仅微调和更新模型总参数的12.4%，它能够达到全微调模型性能的97%到100%。此外，减少的可训练参数数量加速了模型训练迭代，并增强了定向目标检测模型的泛化能力和鲁棒性。源代码可在\url{https://github.com/fudanxu/LoRA-Det}获取。
引用
@article{arxiv.2406.02385,
title = {Low-Rank Adaption on Transformer-based Oriented Object Detector for Satellite Onboard Processing of Remote Sensing Images},
author = {Xinyang Pu and Feng Xu},
journal= {arXiv preprint arXiv:2406.02385},
year = {2024}
}