作为光流估计无监督预训练任务的时间插值

标注训练数据的困难是使用 CNN 处理视频低层任务的主要障碍。合成数据通常无法泛化到真实视频，而无监督方法需要启发式损失。代理任务可克服这些问题，其首先训练网络完成一个标注更易或可进行无监督训练的任务。随后使用少量真实标注数据将该训练好的网络微调用于原始任务。在此，我们研究将帧插值作为光流的代理任务。我们使用真实电影无监督训练 CNN 进行时间插值。此类网络隐式估计运动，但无法处理无纹理区域。通过在少量真实光流上微调，网络可学习填充同质区域并计算完整光流场。使用此无监督预训练，我们的网络优于使用合成光流监督训练的同类架构。