基于草图的视频对象分割：基准与分析
计算机视觉与模式识别
2023-11-14 v1
摘要
基于参考的视频对象分割是一个新兴课题，旨在根据给定参考（如语言表述或照片掩码）分割每帧视频中对应的目标对象。然而，语言表述在传达预期概念时有时含糊不清，且当一帧中相似对象难以用语言区分时会产生歧义。同时，照片掩码标注成本高昂，在实际应用中提供也不够实用。本文引入一项基于草图的视频对象分割新任务、一个相关基准以及一个强基线。我们的基准包含三个数据集：Sketch-DAVIS16、Sketch-DAVIS17和Sketch-YouTube-VOS，其利用人手绘制的草图作为信息丰富且低成本的视频对象分割参考。我们借助半监督VOS任务的主流基线STCN，评估了融入草图参考的最有效设计。实验结果表明，相较于照片掩码、语言和涂鸦等其他参考，草图更有效且标注高效。
引用
@article{arxiv.2311.07261,
title = {Sketch-based Video Object Segmentation: Benchmark and Analysis},
author = {Ruolin Yang and Da Li and Conghui Hu and Timothy Hospedales and Honggang Zhang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2311.07261},
year = {2023}
}
备注
BMVC 2023