SAM-DA：基于 SAM 赋能域自适应的无人机夜间跟踪任意目标
计算机视觉与模式识别
2024-03-26 v2
摘要
域自适应（DA）在实时夜间无人机（UAV）跟踪中已展现出显著潜力。然而，最先进的（SOTA）DA 仍缺乏具有精确像素级位置和边界的潜在目标来生成高质量的目标域训练样本。这一关键问题制约了实时白天 SOTA 跟踪器向具有挑战性的夜间 UAV 跟踪的迁移学习。近来，著名的 Segment Anything Model（SAM）凭借其海量数据驱动的训练方法，获得了发现丰富潜在目标的卓越零样本泛化能力。为解决上述问题，本工作提出一种新颖的 SAM 赋能 DA 框架用于实时夜间 UAV 跟踪，即 SAM-DA。具体而言，设计了一种创新的 SAM 赋能目标域训练样本扩充方法，从每张原始夜间图像中确定大量高质量目标域训练样本。这种新颖的一对多生成显著扩展了 DA 的高质量目标域训练样本。在大量夜间 UAV 视频上的综合实验证明了 SAM-DA 在夜间 UAV 跟踪中的鲁棒性和域适应性。特别地，与 SOTA DA 相比，SAM-DA 能用更少的原始夜间图像取得更好性能，即少而优的训练。这种经济化的训练方法有助于 UAV 算法的快速验证与部署。代码见 https://github.com/vision4robotics/SAM-DA。
引用
@article{arxiv.2307.01024,
title = {SAM-DA: UAV Tracks Anything at Night with SAM-Powered Domain Adaptation},
author = {Changhong Fu and Liangliang Yao and Haobo Zuo and Guangze Zheng and Jia Pan},
journal= {arXiv preprint arXiv:2307.01024},
year = {2024}
}