面向开放世界自我中心活动识别的概率跳扩散框架
计算机视觉与模式识别
2025-05-30 v1
摘要
由于其无约束的性质，开放世界自我中心活动识别提出了一个根本性挑战，要求模型从广阔且部分观测的搜索空间中推断未见活动。我们引入了 ProbRes，一种基于跳扩散的概率残差搜索框架，通过平衡先验引导的探索与似然驱动的利用来高效地导航该空间。我们的方法集成了结构化的常识先验以构建语义连贯的搜索空间，使用视觉-语言模型（VLMs）自适应地细化预测，并采用随机搜索机制来定位高似然活动标签，同时高效地最小化穷举枚举。我们在多个开放度级别（L0--L3）上系统评估了 ProbRes，证明了其对日益增加的搜索空间复杂度的适应性。除了在基准数据集（GTEA Gaze、GTEA Gaze+、EPIC-Kitchens 和 Charades-Ego）上取得 SOTA 性能外，我们还为开放世界识别建立了清晰的分类法，界定了自我中心活动理解所需的挑战和方法论进展。
引用
@article{arxiv.2505.22858,
title = {A Probabilistic Jump-Diffusion Framework for Open-World Egocentric Activity Recognition},
author = {Sanjoy Kundu and Shanmukha Vellamcheti and Sathyanarayanan N. Aakur},
journal= {arXiv preprint arXiv:2505.22858},
year = {2025}
}
备注
Extended abstract of arXiv:2504.03948 for CVPR 2025 EgoVis Workshop