基于凝视共识适配的无监督自我-外部稠密程序活动描述
摘要
从幼年时期起，人类就天然地在以球心坐标(Exo)和以自我为中心(Ego)的视角之间进行适应，以理解日常程序活动。致力于此认知能力的，我们提出一种新颖的无监督自我-外部稠密程序活动描述(Unsupervised Ego-Exo Dense Procedural Activity Captioning, UEDPAC)任务，旨在通过从标记的源视角传递知识，预测目标视角的时间段和动作序列描述，而无需标注。尽管前期工作致力于解决完全监督的单视图或跨视图稠密视频描述，但由于由时间错位和无关物体干扰导致的显著视角间差距，这些方法在本任务中力不从众。因此，我们提出一种凝视共识引导的自我-外部适配网络(Gaze Consensus-guided Ego-Exo Adaptation Network, GCEAN)，将凝视信息注入已学习的表征，以实现细粒度的自我-外部对齐。具体而言，我们提出一种基于评分的对抗学习模块(Score-based Adversarial Learning Module, SALM)，其包含判别性评分网络，并比较不同视角的评分，以从全局层面学习统一的视角不变表征。随后，凝视共识构建模块(Gaze Consensus Construction Module, GCCM)利用凝视逐步校准已学习的表征，以突出感兴趣区域并提取相应的时间语境。此外，我们采用层次化凝视引导的一致性损失，以在源视角和目标视角之间构建显式的时间和空间适配。为支持我们的研究，我们提出了一个新的EgoMe-UEDPAC基准数据集，实验结果表明，我们的方法在多个相关方法上取得显著优势。代码已公开 https://github.com/ZhaofengSHI/GCEAN。
引用
@article{arxiv.2504.04840,
title = {Unsupervised Ego- and Exo-centric Dense Procedural Activity Captioning via Gaze Consensus Adaptation},
author = {Zhaofeng Shi and Heqian Qiu and Lanxiao Wang and Qingbo Wu and Fanman Meng and Hongliang Li},
journal= {arXiv preprint arXiv:2504.04840},
year = {2025}
}
备注
ACM International Conference on Multimedia(ACM MM 2025)