ViewBridge：极端视角变化下基于课程知识蒸馏的活动视角不变性
计算机视觉与模式识别
2026-05-18 v2
摘要
传统方法的视角不变学习依赖受控多视角训练数据，具备最小场景杂乱度。然而，这些方法在面对具有严重视角差异且视觉内容有限的野外视频时表现不佳。我们提出了 ViewBridge 框架，用于在严重视角遮挡情况下学习丰富的视频表征。我们引入一种知识蒸馏目标，以保留动作中心的语义，并设计一种新颖的课程学习程序，逐步配对越来越具挑战性的视角，从而实现对极端视角差异的平滑适应。为实现该课程学习所需的训练视频片段排序，我们定义了反映其可能遮挡程度的几何基准度量。虽然训练阶段利用多视角数据，但推理时仅输入未校准的单视角视频。我们在两个任务上评估了该方法——时间轴关键步骤定位和细粒度关键步骤识别——在三个数据集（Ego-Exo4D、LEMMA、EPFL-Smart-Kitchen-30）上均超越了当前最先进的方法。项目页面：https://vision.cs.utexas.edu/projects/learning_view_distill/。
引用
@article{arxiv.2504.05451,
title = {ViewBridge: Curriculum Knowledge Distillation for Activity View-Invariance Under Extreme Viewpoint Changes},
author = {Arjun Somayazulu and Efi Mavroudi and Changan Chen and Lorenzo Torresani and Kristen Grauman},
journal= {arXiv preprint arXiv:2504.05451},
year = {2026}
}