使用门控时空能量图进行视频关系推理

视觉关系推理是理解视觉概念间丰富交互的关键且具挑战性的任务。例如，关系“男人，打开，门”涉及具体实体“男人，门”之间的复杂关系“打开”。尽管现有大量工作已在静态图像背景下研究该问题，理解视频中的视觉关系却鲜受关注。由于其时间特性，视频使我们能够建模并推理更全面的视觉关系集合，例如需要多次（时间）观测的关系（如“男人，举起，箱子”与“男人，放下，箱子”），以及常随时间相关联的关系（如“女人，支付，钱”之后“女人，购买，咖啡”）。在本文中，我们在全连接时空图上构建条件随机场，以利用关系实体间空间与时间的统计依赖。我们引入一种新颖的门控能量函数参数化，可基于视觉观测学习自适应关系。我们的模型优化计算高效，且通过所提参数化显著分摊了空间计算复杂度。在基准视频数据集（ImageNet Video 与 Charades）上的实验结果表明，在检测、标注与识别三项标准关系推理任务上均达到最先进性能。