DeepFormableTag：可形变基准标记端到端生成与识别
计算机视觉与模式识别
2022-06-17 v1 图形学
摘要
基准标记已广泛用于标识物体或嵌入可由相机检测的信息。现有检测方法主要假设标记被打印在理想平面上。由于光学/透视畸变和运动模糊等各种成像伪影，标记常常无法被识别。为克服这些局限，我们提出了一种新颖的可形变基准标记系统，其由三个主要部分组成：首先，一个基准标记生成器创建一组自由形式的彩色图案，以在独特视觉编码中编码大规模信息。其次，一个可微分图像模拟器以可微分方式在优化过程中渲染带形变标记的真实感场景图像训练数据集。渲染图像包含具有镜面反射的真实光照、光学畸变、散焦与运动模糊、色彩改变、成像噪声以及标记的形状形变。最后，一个训练好的标记检测器寻找感兴趣区域，并通过逆形变变换同时识别多个标记图案。可形变标记生成器与检测器网络通过可微分真实感渲染器以端到端方式联合优化，使我们能够高精度稳健识别大范围可形变标记。我们的可形变标记系统能够在约29 fps下以严重形状形变成功解码36位信息。结果验证我们的系统显著优于传统及数据驱动的标记方法。我们基于学习的标记系统开启了基准标记的新有趣应用，包括低成本人体运动捕捉、使用我们的基准标记阵列作为结构光图案的主动三维扫描，以及在动态表面上对虚拟物体的稳健增强现实渲染。
引用
@article{arxiv.2206.08026,
title = {DeepFormableTag: End-to-end Generation and Recognition of Deformable Fiducial Markers},
author = {Mustafa B. Yaldiz and Andreas Meuleman and Hyeonjoong Jang and Hyunho Ha and Min H. Kim},
journal= {arXiv preprint arXiv:2206.08026},
year = {2022}
}