ASDF：融合6D位姿估计的后期融合装配状态检测
计算机视觉与模式识别
2024-08-12 v3 机器人学
摘要
在医疗和工业领域，为装配过程提供指导对于确保效率和安全至关重要。装配错误可能导致严重后果，例如延长手术时间以及延长工业中的制造或维护时间。装配场景可以受益于原位增强现实可视化，即在目标物体附近进行增强，以提供指导、减少装配时间并最小化错误。为了实现原位可视化，可以利用6D位姿估计来确定增强的正确位置。现有的6D位姿估计技术主要关注单个物体和静态捕获。然而，装配场景具有多种动态特性，包括装配过程中的遮挡和装配物体外观的动态变化。现有工作要么侧重于结合状态检测的物体检测，要么纯粹关注位姿估计。为解决6D位姿估计与装配状态检测相结合的挑战，我们的方法ASDF建立在YOLOv8（一个具备实时能力的物体检测框架）的优势之上。我们扩展了该框架，优化了物体位姿，并将位姿先验知识与网络检测到的位姿信息相融合。在我们的Pose2State模块中利用后期融合，可以得到精细化的6D位姿估计和装配状态检测。通过结合位姿和状态信息，我们的Pose2State模块能精确预测最终的装配状态。在我们ASDF数据集上的评估表明，我们的Pose2State模块带来了装配状态检测的改进，并且装配状态的改进进一步促成了更鲁棒的6D位姿估计。此外，在GBOT数据集上，我们超越了纯深度学习网络，甚至优于混合方法和纯跟踪方法。
引用
@article{arxiv.2403.16400,
title = {ASDF: Assembly State Detection Utilizing Late Fusion by Integrating 6D Pose Estimation},
author = {Hannah Schieber and Shiyu Li and Niklas Corell and Philipp Beckerle and Julian Kreimeier and Daniel Roth},
journal= {arXiv preprint arXiv:2403.16400},
year = {2024}
}