基于多标签原型扩增与双线索一致性的行动预测测试时 ego-exo 适应
摘要
在人类-机器人协作等应用中，Ego（ego）视角与 Exo（exo）视角之间的高效适应至关重要。然而，大多数现有 Ego-Exo 适应方法的成功性依赖于目标视图的训练数据，从而增加了计算和数据收集成本。本文首次探索了测试时 Ego-Exo 适应用于行动预测（TEA）任务，旨在在测试期间在线调整源视图训练的模型以预测目标视图中的动作。由于多动作候选和显著的时间-空间视角间隙，现有的测试时适应（TTA）方法难以解决此任务。因此，我们提出了一种 Novel Dual-Clue enhanced Prototype Growing Network（DCPGN），通过多标签知识积累和跨模态线索集成实现有效的测试时 Ego-Exo 适应和行动预测。具体而言，我们提出了 Multi-Label Prototype Growing Module（ML-PGM），通过多标签分配和基于置信度的重加权实现多个正类的平衡，这些内存银行由熵优先队列策略更新。随后，Dual-Clue Consistency Module（DCCM）引入轻量级叙述者生成指示动作 progression 的文本线索，以补充包含 various objects 的视觉线索。此外，我们约束推断的文本和视觉 logits 以构建双线索一致性，实现时空上的 Ego 与 Exo 视图的桥接。广泛的在EgoMe-anti和现有EgoExoLearn基准上的实验表明我们方法的有效性，该方法以显著优于相关最新方法的性能表现。代码可在 \href{https://github.com/ZhaofengSHI/DCPGN}{https://github.com/ZhaofengSHI/DCPGN} 获取。
关键词
引用
@article{arxiv.2603.09798,
title = {Test-time Ego-Exo-centric Adaptation for Action Anticipation via Multi-Label Prototype Growing and Dual-Clue Consistency},
author = {Zhaofeng Shi and Heqian Qiu and Lanxiao Wang and Qingbo Wu and Fanman Meng and Lili Pan and Hongliang Li},
journal= {arXiv preprint arXiv:2603.09798},
year = {2026}
}
备注
Accepted by CVPR 2026