PAWS: 从大规模真实场景自我中心视频中感知关节运动
计算机视觉与模式识别
2026-03-27 v1
摘要
关节运动感知旨在恢复关节可动物体（如抽屉和橱柜）的运动与结构，是机器人、仿真和动画中3D场景理解的基础。现有基于学习的方法严重依赖高质量3D数据和人工标注的监督训练，限制了可扩展性和多样性。为解决这一局限，我们提出PAWS，一种直接从大规模真实场景自我中心视频中的手-物交互提取物体关节运动的方法。我们在公开数据集（包括HD-EPIC和Arti4D数据集）上评估了我们的方法，相比基线方法取得了显著提升。我们进一步证明提取的关节运动可服务于下游任务，包括微调3D关节运动预测模型和实现机器人操控。详见项目网站 https://aaltoml.github.io/PAWS/。
引用
@article{arxiv.2603.25539,
title = {PAWS: Perception of Articulation in the Wild at Scale from Egocentric Videos},
author = {Yihao Wang and Yang Miao and Wenshuai Zhao and Wenyan Yang and Zihan Wang and Joni Pajarinen and Luc Van Gool and Danda Pani Paudel and Juho Kannala and Xi Wang and Arno Solin},
journal= {arXiv preprint arXiv:2603.25539},
year = {2026}
}
备注
32 pages, 13 figures. Project page: https://aaltoml.github.io/PAWS/