基于模态感知新奇检测的端到端多模态式无人端活动识别
计算机视觉与模式识别
2026-03-19 v1 人工智能
摘要
多模态式无人端活动识别集成视觉与惯性线索，以实现对一人称行为的稳健理解。然而，在开放世界环境中部署此类系统需要在非平稳数据流中检测新活动并持续学习。这一问题在于现有方法依赖主要logits进行新奇评分，未充分利用来自各个模态的互补证据。由于这些logits通常被RGB主导，尤其是来自其他模态（如IMU）的线索被低估，而这种不平衡在遇到灾难性遗忘时会进一步恶化。为此，我们提出MAND，一个面向多模态式无人端开放世界持续学习的框架。在推理阶段，模态感知自适应评分（MoAS）从能量得分估计样本级模态可靠性，并对模态logits进行自适应集成，以更好地利用互补模态线索进行新奇检测。在训练阶段，模态级表示稳定训练（MoRST）通过辅助头和模态级logits蒸馏，跨任务保留模态特定的判别性。在公开的多模态式无人端基准数据集上的实验表明，MAND在新活动检测AUC上提升最高可达10%，在已知类别分类准确率上提升最高可达2.8%，显著优于当前最先进的基线方法。
引用
@article{arxiv.2603.16970,
title = {Continual Multimodal Egocentric Activity Recognition via Modality-Aware Novel Detection},
author = {Wonseon Lim and Hyejeong Im and Dae-Won Kim},
journal= {arXiv preprint arXiv:2603.16970},
year = {2026}
}