基于强化学习的视频目标分割自适应感兴趣区域生成
计算机视觉与模式识别
2019-09-30 v1
摘要
本文旨在解决半监督视频目标分割任务，即在仅提供第一帧真实分割标注的连续帧序列中进行分割。挑战在于如何自适应且准确地在线更新由第一帧初始化的分割模型，即使在存在多个混淆实例或大幅目标运动的情况下。现有方法依赖于选择感兴趣区域进行模型更新，然而这种方式粗糙且不灵活，导致性能下降。为克服该局限，我们提出一种新方法，利用强化学习基于历史分割信息为每一帧选择最优自适应区域。该RL模型学习采取最优动作，以调整由前一帧推断的感兴趣区域用于在线模型更新。为加速模型自适应，我们进一步设计了一种基于多分支树的探索方法，以快速选择最佳状态-动作对。实验表明，我们的工作将DAVIS 2016数据集上的平均区域相似度SOTA提升至87.1%。
引用
@article{arxiv.1909.12482,
title = {Adaptive ROI Generation for Video Object Segmentation Using Reinforcement Learning},
author = {Mingjie Sun and Jimin Xiao and Eng Gee Lim and Yanchu Xie and Jiashi Feng},
journal= {arXiv preprint arXiv:1909.12482},
year = {2019}
}