稀疏超图增强的帧事件目标检测及粗粒度Mixture of Experts
计算机视觉与模式识别
2026-04-14 v1
摘要
将基于帧的RGB摄像机与事件流集成提供了一种可靠处理动态条件下目标检测的 promising 解决方案。然而，这些模态固有的异构性和数据冗余常导致计算开销高昂或特征融合次优。在本文中，我们提出了Hyper-FEOD—a 高性能且高效的检测框架，通过两个核心组件协同优化多模态互动。首先，我们引入稀疏超图增强的跨模态融合（S-HCF），利用事件流固有的稀疏性构建事件引导的活动图。通过仅对选定的运动关键稀疏标记执行高阶超图建模，S-HCF在捕捉RGB与事件数据之间复杂的非局部依赖关系方面克服了传统超图计算的复杂度瓶颈。其次，我们设计了粗粒度Mixture of Experts（FG-MoE）增强模块，以解决不同图像区域的语义需求差异。该模块针对目标边界、内部纹理和背景分别采用专门的超图专家，利用像素级空间门控机制自适应路由和增强特征。结合负载平衡损失和零初始化策略，FG-MoE确保了稳定的训练和精确的特征细化，而不会干扰预训练背板的分布。实验结果表明，Hyper-FEOD在主流RGB-事件基准上实现了准确性与效率之间的优越权衡，超越了现有SOTA方法，同时保持适用于实时边缘部署的轻量级占据。
引用
@article{arxiv.2604.11140,
title = {Sparse Hypergraph-Enhanced Frame-Event Object Detection with Fine-Grained MoE},
author = {Wei Bao and Yuehan Wang and Tianhang Zhou and Siqi Li and Yue Gao},
journal= {arXiv preprint arXiv:2604.11140},
year = {2026}
}