一种用于基于事件识别的具有跨表示蒸馏的动态图卷积网络
计算机视觉与模式识别
2023-04-18 v2
摘要
基于事件研究的近期进展优先关注稀疏性与时间精度。使用经充分预训练CNN处理的稠密基于帧的表示的方法，正被通过图卷积网络(GCN)学习的稀疏基于点的表示所取代。然而，这些图方法的效能远落后于其基于帧的对应方法，存在两点局限。(i) 有偏的图构建未能仔细整合每个顶点的不同属性（即语义、空间与时间线索），导致不精确的图表示。(ii) 由于缺乏可用的充分预训练模型而导致学习不足。在此，我们通过提出一种新的基于事件的GCN(EDGCN)解决第一个问题，其带有动态聚合模块以自适应地整合顶点的所有属性。为解决第二个问题，我们引入一种称为跨表示蒸馏(CRD)的新颖学习框架，该框架利用事件的稠密表示作为跨表示辅助，为事件图提供额外的监督与先验知识。这种帧到图的蒸馏使我们能够从CNN提供的大规模先验中获益，同时仍保留基于图模型的优势。大量实验表明我们的模型与学习框架是有效的，并能在多个视觉任务上良好泛化。
引用
@article{arxiv.2302.04177,
title = {A Dynamic Graph CNN with Cross-Representation Distillation for Event-Based Recognition},
author = {Yongjian Deng and Hao Chen and Bochen Xie and Hai Liu and Youfu Li},
journal= {arXiv preprint arXiv:2302.04177},
year = {2023}
}
备注
10 pages, 9 figures