面向开放世界的体姿态活动识别的概率跳扩散 ProbRes
计算机视觉与模式识别
2025-10-13 v2
摘要
开放世界体姿态活动识别因其不受约束的自然特性，面临根本性挑战，需要模型从广阔、部分观察的搜索空间中推断未出现的活动。我们引入 ProbRes，一种基于跳扩散的概率残差搜索框架，高效地通过平衡先验引导的探索与似然驱动的开发来导航此空间。我们的方法整合了结构化常识先验以构建语义连贯的搜索空间，利用视觉语言模型 (VLM) 适应性地细化预测，并采用随机搜索机制定位高似然活动标签，同时最小化耗尽枚举的开销。我们在多个开放性程度 (L0-L3) 上系统性地评估了 ProbRes，证明其对日益复杂的搜索空间具有适应性。除了在 GTEA Gaze、GTEA Gaze+、EPIC-Kitchens 和 Charades-Ego 等基准数据集上实现最新性能外，我们还为开放世界识别建立了明确的分类体系，阐明了实现体姿态活动理解所必需的挑战与方法论进展。我们的结果凸显了结构化搜索策略的重要性，为可扩展且高效的开放世界活动识别指明了道路。
引用
@article{arxiv.2504.03948,
title = {ProbRes: Probabilistic Jump Diffusion for Open-World Egocentric Activity Recognition},
author = {Sanjoy Kundu and Shanmukha Vellamcheti and Sathyanarayanan N. Aakur},
journal= {arXiv preprint arXiv:2504.03948},
year = {2025}
}
备注
Accepted to ICCV 2025. 17 pages, 6 figures, 3 tables