NormalFlow：基于视觉触觉传感器的快速、稳健、精确的对象6自由度姿态跟踪
机器人学
2025-03-19 v2
摘要
触觉感知是实现类人灵活性运动的关键手段。在众多触觉依赖技能中，触觉式对象跟踪是许多任务（包括操作、手中操作和3D重建）的基石。本文我们引入NormalFlow，一种快速、稳健且实时的触觉式6自由度跟踪算法。利用视觉触觉传感器对表面法线的精确估计，NormalFlow通过最小化触觉派生表面法线之间的差异来确定物体运动。我们的实验结果表明，NormalFlow consistently 优于对手方法，能够跟踪类似桌面等低纹理对象的运动。在长时间跟踪方面，我们展示了当沿球心滚动传感器完成360度旋转时，NormalFlow保持约2.5度的旋转跟踪误差。此外，我们展示了最先进的触觉式3D重建结果，凸显了NormalFlow的高精度。我们认为NormalFlow为涉及手部操作物体的高精度感知与操作任务开辟了新可能。视频演示、代码和数据集均已在我们的网站上提供：https://joehjhuang.github.io/normalflow。
引用
@article{arxiv.2412.09617,
title = {NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors},
author = {Hung-Jui Huang and Michael Kaess and Wenzhen Yuan},
journal= {arXiv preprint arXiv:2412.09617},
year = {2025}
}
备注
8 pages, published in 2024 RA-L, website link: https://joehjhuang.github.io/normalflow