基于域随机化的混合合成数据生成实现极端类别不平衡下的零样目视觉部件检查
计算机视觉与模式识别
2026-05-26 v1 机器学习
摘要
机器学习，特别是深度学习，正在改变工业质量检查领域。然而，训练鲁健的机器学习模型通常需要大量高质量标记数据，这些数据在制造业中昂贵、耗时且需要大量人力。此外，损坏样本是内在稀有的，导致严重的类别不平衡，降低模型性能。这些数据约束阻碍了基于机器学习的质量检查方法在实际生产环境中的广泛采用。合成数据生成(SDG)提供了一条有前景的解决方案，通过以高效、成本效益高且可扩展的方式创建大量平衡且完全标注的数据集。本文提出了一种混合 SDG 框架，将仿真渲染、域随机化和真实背景合成集成，以实现无标记的计算机视觉工业部件检查的零样学习。SDG 流水线在一小时内生成 12,960 张标记图像，通过变化部件几何形状、照明和表面属性，并将合成部件合成到真实图像背景上。采用 YOLOv8n 主干网络进行目标检测、MobileNetV3-small 进行质量分类的两阶段架构仅使用合成数据进行训练，并在 300 件真实工业部件上进行评估。该方法在检测上实现 0.995 的 [email protected]，分类准确率为 96%，平衡准确率为 90.1%。与基于少量真实数据的方法进行比较评估显示，显著性地提高。该方法在严重类别不平衡下实现 90-91% 的平衡准确率，而基线方法仅达到 50%。这些结果表明，所提出的方法实现了无标注、可扩展且对实际制造应用具有鲁健性的质量检查。
引用
@article{arxiv.2512.00125,
title = {Hybrid Synthetic Data Generation with Domain Randomization Enables Zero-Shot Vision-Based Part Inspection Under Extreme Class Imbalance},
author = {Ruo-Syuan Mei and Sixian Jia and Guangze Li and Soo Yeon Lee and Brian Musser and William Keller and Sreten Zakula and Jorge Arinez and Chenhui Shao},
journal= {arXiv preprint arXiv:2512.00125},
year = {2026}
}
备注
Submitted to the NAMRC 54