基于合成训练数据的二维工具关键点实时检测
计算机视觉与模式识别
2022-10-24 v1 人工智能
摘要
本文提出一种深度学习架构，可实时检测物理工具（如锤子或螺丝刀）特定关键点的二维位置。为避免人工标注的劳作，该网络在合成生成的数据上训练。在计算机生成图像上训练计算机视觉模型，同时在真实图像上仍取得良好精度，因领域差异而具挑战性。所提方法结合先进渲染方法、迁移学习与中间监督架构来解决该问题。结果表明，本文提出的名为中间热图模型（IHM）的模型在合成数据训练下可泛化至真实图像。为避免对工具精确带纹理三维模型的需求，结果表明，当在同一类型工具的一组不同三维模型上训练时，模型可泛化至未见过的工具。将 IHM 与两种现有关键点检测方法比较，表明其在合成数据训练下检测工具关键点方面优于后者。
引用
@article{arxiv.2210.11991,
title = {Real-time Detection of 2D Tool Landmarks with Synthetic Training Data},
author = {Bram Vanherle and Jeroen Put and Nick Michiels and Frank Van Reeth},
journal= {arXiv preprint arXiv:2210.11991},
year = {2022}
}