感知所需内容：多模态流式感知的相关性驱动调度
计算机视觉与模式识别
2026-03-16 v1
摘要
在现代人机协作(HRC)应用中，多个感知模块共同提取视觉、听觉和上下文线索，以实现全面的场景理解，使机器人能够智能地为人类代理提供适当的帮助。虽然以帧为单位执行多个感知模块可提升离线环境中的感知质量，但不可避免地积累延迟，导致在流式感知场景中出现显著的系统性能下降。最近的场景理解工作称为Relevance的概念，为开发高效的方法奠定了坚实的基础。然而，现代感知管道仍面临信息冗余和计算资源分配不当的挑战。drawing inspiration from Relevance概念和HRC事件中的信息稀疏性，我们提出了一种新型轻量级感知调度框架，有效利用前一帧的输出来估计并基于场景上下文实时调度必要的感知模块。实验结果表明，所提出的感知调度框架通过最高达27.52%显著降低了与传统并行感知管道相比的计算延迟，同时实现了72.73%的MMPose激活召回率改进。此外，该框架表现出高的关键帧准确率，达到最高可达98%。这些结果验证了该框架在不显著牺牲准确性的前提下，提升了实时感知效率的能力。该框架显示出作为HRC中多模态流式感知系统可扩展且系统化解决方案的潜力。
引用
@article{arxiv.2603.13176,
title = {Perceive What Matters: Relevance-Driven Scheduling for Multimodal Streaming Perception},
author = {Dingcheng Huang and Xiaotong Zhang and Kamal Youcef-Toumi},
journal= {arXiv preprint arXiv:2603.13176},
year = {2026}
}
备注
Accepted to ICRA 2026