为时空图神经网络发现动态显著区域
计算机视觉与模式识别
2021-12-08 v3 机器学习
摘要
图神经网络非常适于捕捉时空域（如视频）中各类实体间的潜在交互。然而，当显式结构不可用时，应将哪些原子元素表示为节点并不显然。当前工作通常使用预训练目标检测器或固定的预定义区域来提取图节点。基于此改进，我们提出的模型学习动态附着于界定良好的显著区域的节点，这些区域与更高层任务相关，且不使用任何对象级监督。构建这些局部化、自适应的节点赋予我们的模型以对象为中心表示的归纳偏置，并且我们展示其发现的区域与视频中的对象高度相关。在广泛的消融研究与两个具挑战性数据集上的实验中，我们展示了相对于先前视频分类图神经网络模型的优越性能。
引用
@article{arxiv.2009.08427,
title = {Discovering Dynamic Salient Regions for Spatio-Temporal Graph Neural Networks},
author = {Iulia Duta and Andrei Nicolicioiu and Marius Leordeanu},
journal= {arXiv preprint arXiv:2009.08427},
year = {2021}
}
备注
Accepted at Neural Information Processing Systems (NeurIPS 2021)