PFM-VEPAR：面向基于RGB-事件相机的行人属性识别的提示驱动基础模型
计算机视觉与模式识别
2026-03-23 v1 人工智能
机器学习
摘要
基于事件的行人属性识别（PAR）利用运动线索增强RGB相机，在低光和运动模糊场景中实现更准确的属性推断，如年龄和情绪。然而，现有的双流多模态融合方法引入显著的计算开销，同时忽视了来自上下文样本的有价值指导。为此，本文提出Event Prompter。该模块放弃计算密集的辅助主干网络，直接应用极其轻量且高效的离散余弦变换（DCT）和逆DCT（IDCT）操作处理事件数据。该设计以最小计算成本从频域提取事件特征，从而有效增强RGB分支。此外，结合外部记忆库提供丰富的先验知识，以及现代Hopfield网络，实现关联记忆增强的表征学习。该机制有效挖掘并利用不同样本之间的全局关系知识。最后，采用跨注意力机制融合RGB和事件两种模态，随后通过前馈网络进行属性预测。大量实验在多个基准数据集上充分验证了所提出RGB-Event PAR框架的有效性。本文的代码将发布于https://github.com/Event-AHU/OpenPAR
关键词
引用
@article{arxiv.2603.19565,
title = {PFM-VEPAR: Prompting Foundation Models for RGB-Event Camera based Pedestrian Attribute Recognition},
author = {Minghe Xu and Rouying Wu and ChiaWei Chu and Xiao Wang and Yu Li},
journal= {arXiv preprint arXiv:2603.19565},
year = {2026}
}