互补事件流与 RGB 帧用于手部网格重建
计算机视觉与模式识别
2024-03-13 v1
摘要
从常用的彩色和深度传感器进行可靠的手部网格重建 (HMR) 具有挑战性，尤其是在光照变化和快速运动的场景下。事件相机因其高动态范围和密集时间分辨率特性而成为一种极具前景的替代方案，但它缺乏手部网格重建所需的关键纹理外观。在本文中，我们提出了 EvRGBHand——首个利用事件相机和 RGB 相机相互补偿进行 3D 手部网格重建的方法。通过在时间、空间和信息维度上融合两种模态的数据，EvRGBHand 能够解决基于 RGB 的 HMR 中的过曝和运动模糊问题，以及基于事件的 HMR 中的前景稀缺和背景溢出问题。我们进一步提出了 EvRGBDegrader，使我们的模型即使在仅使用标准场景训练的情况下也能在挑战性场景中有效泛化，从而降低数据采集成本。真实世界数据的实验表明，EvRGBHand 通过保留两种相机的优点，有效解决了单独使用任一类型相机时面临的挑战性问题，并展示了泛化到户外场景和另一类事件相机的潜力。
引用
@article{arxiv.2403.07346,
title = {Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction},
author = {Jianping Jiang and Xinyu Zhou and Bingxuan Wang and Xiaoming Deng and Chao Xu and Boxin Shi},
journal= {arXiv preprint arXiv:2403.07346},
year = {2024}
}