Hi-LASSIE：从稀疏图像集合中发掘高保真关节化形状与骨架
计算机视觉与模式识别
2023-03-28 v4
摘要
从稀疏的野外图像集合中自动估计 3D 骨架、形状、相机视角与部件关节化是一个严重欠约束且具挑战性的问题。多数先前方法依赖大规模图像数据集、密集时间对应或人体标注（如相机位姿、2D 关键点与形状模板）。我们提出 Hi-LASSIE，其仅从 20-30 张野外在线图像执行 3D 关节化重建，无需任何用户定义的形状或骨架模板。我们遵循近期 LASSIE 的工作，其处理类似问题设定并做出两项重要进展。首先，我们不依赖手动标注的 3D 骨架，而是从所选参考图像中自动估计类特定骨架。其次，我们通过新颖的实例特定优化策略改进形状重建，使重建能忠实贴合每个实例，同时保留跨所有图像学习的类特定先验。在野外图像集合上的实验表明，尽管所需用户输入最少，Hi-LASSIE 仍获得了更高保真度的当前最优 3D 重建。
引用
@article{arxiv.2212.11042,
title = {Hi-LASSIE: High-Fidelity Articulated Shape and Skeleton Discovery from Sparse Image Ensemble},
author = {Chun-Han Yao and Wei-Chih Hung and Yuanzhen Li and Michael Rubinstein and Ming-Hsuan Yang and Varun Jampani},
journal= {arXiv preprint arXiv:2212.11042},
year = {2023}
}
备注
Project page: https://chhankyao.github.io/hi-lassie/