面向卫星视觉 Sim2Real 数据构建的组件感知结构保持风格迁移
计算机视觉与模式识别
2026-05-21 v2 人工智能
摘要
对于基于相机的卫星视觉感知，Sim2Real 数据构建需要生成图像，这些图像接近真实域传感器的外观，同时保留源于仿真的标注。实测卫星目标的真实传感器图像若要获得可靠姿态标签和组件级掩码，规模获取困难；而合成渲染提供精确几何标注，但存在显著的视觉差距。本文提出一种面向卫星视觉合成到真实数据构建的组件感知结构保持风格迁移框架。该方法从已校准的真实采集、ArUco-based 相机姿态测量、CAD 渲染和组件掩码中构建弱配对的真实-合成样本。随后从无标签的真实图像中提取分部级真实域风格代码，通过掩码对齐调制将其注入相应的合成卫星区域。为保持生成图像适用于下游传感器数据监督，融合对抗训练、局部对比一致性、自正则化和边缘保持约束。实验在 5000 张渲染卫星图像和 100 张校准实验室实拍图像上进行。真实图像提供目标域外观参考和最终评估图像，而下游 GDRNet 位姿估计器仅使用合成或翻译后的合成图像训练。与代表性图像迁移基线相比，本方法实现最低的图像分布偏差，FID 为 54.32，KID 为 0.048。当翻译后数据用于此目标域适应设置训练 GDRNet 时，ADD 通过率提升至 0.260，AUC 提升至 0.611。这些结果表明，组件级风格迁移可改善所考虑校准环境下卫星视觉 Sim2Real 数据生成中标注保留的问题。
引用
@article{arxiv.2605.19624,
title = {Component-Aware Structure-Preserving Style Transfer for Satellite Visual Sim2Real Data Construction},
author = {Zongwu Xie and Yonglong Zhang and Yifan Yang and Yang Liu and Baoshi Cao},
journal= {arXiv preprint arXiv:2605.19624},
year = {2026}
}