TexHOI: 单目手-物体交互场景中 3D 未知物体纹理重建
计算机视觉与模式识别
2025-05-12 v2
摘要
从单目序列中重建具有高保真纹理的动态真实物体的 3D 模型一直是近年来具有挑战性的问题。这种困难源于阴影、间接照明以及因遮挡手-物体交互而导致的物体姿态估计不准等因素。为此，我们提出一种新方法，预测手对环境可见性和间接照明对物体表面 albedo 的影响。我们的 метод首先通过复合渲染辐射场学习几何和低保真纹理，同时优化手和物体姿态以实现准确的物体姿态估计。随后，我们细化基于物理的渲染参数——包括粗糙度、镜面反射、albedo、手部可见性、皮肤颜色反射以及环境照明——以生成精确的 albedo、准确的手部照明和阴影区域。我们的 方法在纹理重建方面超越了 state-of-the-art 方法，并鉴于我们所知，是首次在物体纹理重建中考虑手-物体交互。
引用
@article{arxiv.2501.03525,
title = {TexHOI: Reconstructing Textures of 3D Unknown Objects in Monocular Hand-Object Interaction Scenes},
author = {Alakh Aggarwal and Ningna Wang and Xiaohu Guo},
journal= {arXiv preprint arXiv:2501.03525},
year = {2025}
}
备注
This paper was accepted at CVM 2025 and will appear in IEEE TVCG. This work has been submitted to the IEEE for possible publication