FEEL（力增强型环视学习）：用于物理动作理解的数据集
计算机视觉与模式识别
2026-03-18 v1 机器学习
机器人学
摘要
我们介绍FEEL（Force-Enhanced Egocentric Learning），首个规模大型数据集，将来自自定义压电阻性手套收集的力量测量与环视视频配对。我们的手套实现了可扩展的数据收集，FEEL包含约300万帧力量同步帧的自然非剧本化操作，45%的帧涉及手-物体接触。由于力量是驱动物理相互作用的根本原因，是物理动作理解的关键基本要素。我们通过将FEEL应用于两种任务族来展示力量对物理动作理解的实用性：（1）接触理解，我们联合进行时序接触分割和像素级接触物体分割；（2）动作表示学习，其中力量预测作为视频主干的自监督预训练目标。我们实现了时序接触分割的最佳结果，以及不需任何手动接触物体分割注释的竞争性像素级分割结果。此外，我们表明使用FEEL进行的动作表示学习在没有手动标签的情况下提高了在EPIC-Kitchens、SomethingSomething-V2、EgoExo4D和Meccano上的动作理解任务的迁移性能。
引用
@article{arxiv.2603.15847,
title = {FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding},
author = {Eadom Dessalene and Botao He and Michael Maynord and Yonatan Tussa and Pavan Mantripragada and Yianni Karabati and Nirupam Roy and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:2603.15847},
year = {2026}
}
备注
14 pages, 7 figures