基于情景图记忆网络的视频目标分割
计算机视觉与模式识别
2020-12-10 v4 机器学习
摘要
如何使分割模型高效适应特定视频并适应在线目标外观变化，是视频目标分割领域中根本性的关键问题。本文提出一种图记忆网络以实现“学习更新分割模型”这一新颖思路。具体而言，我们利用组织为全连接图的情景记忆网络，将帧存为节点并通过边捕获跨帧关联。进一步，嵌入可学习的控制器以简化记忆读写，并维持固定的记忆规模。这种结构化外部记忆设计使我们的模型能够全面挖掘并快速存储新知识，即便视觉信息有限；而可微记忆控制器通过梯度下降缓慢学习一种在记忆中存储有用表征以及后续如何利用这些表征进行预测的抽象方法。此外，所提图记忆网络给出了一个简洁而系统的框架，可很好地泛化到一次性（one-shot）与零样本（zero-shot）视频目标分割任务。在四个具挑战性的基准数据集上的大量实验验证，我们的图记忆网络能够促进分割网络针对逐个视频的目标分割进行自适应。
引用
@article{arxiv.2007.07020,
title = {Video Object Segmentation with Episodic Graph Memory Networks},
author = {Xiankai Lu and Wenguan Wang and Martin Danelljan and Tianfei Zhou and Jianbing Shen and Luc Van Gool},
journal= {arXiv preprint arXiv:2007.07020},
year = {2020}
}
备注
ECCV2020 Spotlight Oral; website: https://github.com/carrierlxk/GraphMemVOS