超越亮度恒常性：光流噪声模型的学习

光流通常通过最小化“数据代价”和可选的正则化项来估计。尽管在不同正则化项方面已有大量工作，许多现代算法仍使用与30多年前差别不大的数据代价：亮度恒常性或梯度恒常性的鲁棒版本。本文中，我们利用近期可用的光流真值数据库来学习数据代价。具体而言，我们采用生成式方法，其中数据代价建模了根据光流对图像进行扭曲后的噪声分布，并通过数据代价与真实光流扭曲误差分布的匹配程度来衡量其“优劣”。与当前实践一致，我们发现梯度恒常性的鲁棒版本比简单的亮度恒常性是更好的模型，但一个建模扭曲误差块密度的学习型高斯混合模型（GMM）比任何现有的恒常性假设都拟合得更好。GMM的这一显著优势源于对扭曲误差空间结构的显式建模，而这一特征几乎存在于所有现有光流数据代价中所缺失。最后，我们展示了如何将扭曲误差块的良好密度模型用于整幅图像的光流估计。我们用期望块对数似然（EPLL）替代数据代价，并展示如何通过增加一步对扭曲误差图像去噪来迭代优化该代价。我们的实验结果令人鼓舞，表明具有更高似然的块模型可带来更好的光流估计。