第八届 HANDS Workshop 挑战赛 ARCTIC 赛道第一名解决方案：基于 3DGS 的双手类别无关交互重建
计算机视觉与模式识别
2024-10-08 v2
摘要
本报告描述了我们在 conjunction with ECCV 2024 举办的第八届 HANDS workshop 挑战赛（ARCTIC 赛道）中获得第一名的解决方案。在此挑战赛中，我们处理了双手类别无关手-物交互重建任务，该任务旨在不依赖预定义模板的情况下，从单目视频生成双手和物体的 3D 重建。由于在双手操作过程中双手与物体之间存在严重的遮挡和动态接触，该任务极具挑战性。我们分别通过引入 mask loss 和 3D contact loss 来解决这些问题。此外，我们将 3D Gaussian Splatting (3DGS) 应用于该任务。最终，我们的方法在 ARCTIC 测试集上的主要指标 CD 上达到了 38.69 的值。
引用
@article{arxiv.2409.19215,
title = {1st Place Solution to the 8th HANDS Workshop Challenge -- ARCTIC Track: 3DGS-based Bimanual Category-agnostic Interaction Reconstruction},
author = {Jeongwan On and Kyeonghwan Gwak and Gunyoung Kang and Hyein Hwang and Soohyun Hwang and Junuk Cha and Jaewook Han and Seungryul Baek},
journal= {arXiv preprint arXiv:2409.19215},
year = {2024}
}