基于合成数据的仿真到现实水果检测：定量评估与Isaac Sim嵌入式部署
计算机视觉与模式识别
2026-03-31 v1 机器人学
摘要
本研究探讨了在数据受限条件下和嵌入式部署要求下，使用合成数据进行仿真到现实迁移对目标检测的有效性。我们在NVIDIA Isaac Sim中生成合成数据集，并与有限的真实水果图像组合，用于训练基于YOLO的检测模型，实验包括纯实数据训练、纯合成数据训练和混合训练三种模式。性能在两个测试数据集上进行评估：一个与训练数据条件匹配的同域数据集，以及包含真实水果和不同背景条件的跨域数据集。结果表明，仅使用真实数据训练的模型达到最高准确率，而仅使用合成数据的模型因域间差异导致性能下降。混合训练策略显著优于纯合成方法，接近纯实数据训练效果，同时减少了人工标注需求。在跨域条件下，所有模型表现均有所下降，但混合模型提供了更好的鲁棒性。训练得到的模型成功部署在Jetson Orin NX上并采用TensorRT优化，实现了实时推理性能。本研究表明，合成数据最有效的方式是在真实数据与其组合使用，并且部署约束必须与检测准确率一起考虑。
引用
@article{arxiv.2603.28670,
title = {Sim-to-Real Fruit Detection Using Synthetic Data: Quantitative Evaluation and Embedded Deployment with Isaac Sim},
author = {Martina Hutter-Mironovova},
journal= {arXiv preprint arXiv:2603.28670},
year = {2026}
}
备注
18 pages, 6 figures