ISC-Perception：面向新型钢构件装配中目标检测的混合计算机视觉数据集
计算机视觉与模式识别
2025-11-06 v1 图像与视频处理
摘要
互锁钢连接（ISC）系统与机器人操作臂配合使用时，可以加速钢框架装配并通过消除人工装配来提高工人安全性。可靠的感知是ISC感知机器人的初始阶段之一。然而，由于在活跃的建筑工地上采集照片在后勤上困难且引发安全和隐私问题，缺乏专用的图像语料库阻碍了这一进程。为此，我们引入了ISC-Perception，这是第一个专门为ISC组件检测设计的混合数据集。它融合了程序化渲染的CAD图像、游戏引擎的光照真实场景以及有限且经过精选的真实照片，实现了对合成部分的完全自动标注。我们明确计算了生成该数据集所需的所有人力，包括仿真引擎和场景设置、资产准备、后处理脚本和质量检查；我们生成10,000张图像数据集的总人工时间为30.5小时，而手动标注（每张图像60秒）则需要166.7小时（减少81.7%）。对一张包含五个ISC构件实例的代表性图像进行的手动试点测试耗时60秒（最多80秒），作为手动基准。在ISC-Perception上训练的检测器在IoU 0.50下的平均精度（mAP）达到0.756，显著优于仅在合成数据或仅光照真实数据上训练的模型。在1,200帧的基准测试中，我们报告的[email protected]/mAP@[0.50:0.95]为0.943/0.823。通过弥合建筑机器人感知的数据鸿沟，ISC-Perception促进了自定义目标检测器的快速开发，并可应要求免费用于研究和工业用途。
引用
@article{arxiv.2511.03098,
title = {ISC-Perception: A Hybrid Computer Vision Dataset for Object Detection in Novel Steel Assembly},
author = {Miftahur Rahman and Samuel Adebayo and Dorian A. Acevedo-Mejia and David Hester and Daniel McPolin and Karen Rafferty and Debra F. Laefer},
journal= {arXiv preprint arXiv:2511.03098},
year = {2025}
}