通过视频着色实现跟踪
计算机视觉与模式识别
2018-07-31 v2 图形学
机器学习
多媒体
机器人学
摘要
我们利用大量无标注视频，在无需人工监督的情况下学习视觉跟踪模型。借助颜色的自然时间相干性，我们构建了一个模型，通过学习从参考帧复制颜色来对灰度视频进行着色。定量与定性实验表明，该任务使模型自动学会跟踪视觉区域。尽管模型在训练时没有任何真值标签，我们的方法学到的跟踪效果足以超越基于光流的最新方法。此外，我们的结果表明，跟踪失败与着色失败相关，这意味着推进视频着色可进一步改善自监督视觉跟踪。
引用
@article{arxiv.1806.09594,
title = {Tracking Emerges by Colorizing Videos},
author = {Carl Vondrick and Abhinav Shrivastava and Alireza Fathi and Sergio Guadarrama and Kevin Murphy},
journal= {arXiv preprint arXiv:1806.09594},
year = {2018}
}
备注
ECCV 2018. Blog post: https://ai.googleblog.com/2018/06/self-supervised-tracking-via-video.html