基于自然语言句子的视频演员与动作分割
计算机视觉与模式识别
2018-03-21 v1
摘要
本文致力于对视频内容中的演员及其动作进行像素级分割。不同于现有所有从固定的演员与动作对词汇表中学习分割的工作，我们从自然语言输入句子推断分割。这使得能够区分同一超类别中的细粒度演员，识别演员与动作实例，并分割词汇表之外的演员与动作对。我们提出了一种针对视频优化的编码器-解码器架构的像素级演员与动作分割全卷积模型。为了展示基于句子的演员与动作视频分割的潜力，我们用超过7,500条自然语言描述扩展了两个流行的演员与动作数据集。实验证明了句子引导分割的质量、模型的泛化能力，以及相较于state-of-the-art在传统演员与动作分割上的优势。
引用
@article{arxiv.1803.07485,
title = {Actor and Action Video Segmentation from a Sentence},
author = {Kirill Gavrilyuk and Amir Ghodrati and Zhenyang Li and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:1803.07485},
year = {2018}
}
备注
Accepted to CVPR 2018 as oral