具有时变着色效应的真实世界场景的非刚性光流真值
计算机视觉与模式识别
2016-07-18 v3
摘要
本文提出了一个非刚性变形真实世界场景的密集真值(ground truth)数据集。我们的数据集包含长短视频序列，并支持对基于RGB的跟踪与配准方法进行定量评估。为构建RGB序列的真值，我们同时捕获近红外(NIR)图像序列，其中仅能在NIR中可见的密集标记点代表真值位置。这允许与自动跟踪的RGB位置进行比较并形成误差度量。大多数先前包含非刚性变形序列的数据集基于合成数据。我们的捕获协议使我们能够获取具有真实光度效应（如模糊与光照变化）以及遮挡和复杂变形的真实世界变形物体。我们构建了一个公共评估网站，以便使用各种统计度量对基于RGB图像的光流及其他密集跟踪算法进行排名。此外，我们提出了一种RGB-NIR多光谱光流模型，通过自适应地结合来自RGB与互补NIR通道的特征信息实现能量优化。在我们的实验中，我们在新数据集上评估了八种现有的基于RGB的光流方法。我们还通过将我们的混合光流算法与两种现有多光谱方法进行比较，以及在RGB、NIR和RGB-NIR之间改变输入通道，对其进行了评估。
引用
@article{arxiv.1603.08120,
title = {Nonrigid Optical Flow Ground Truth for Real-World Scenes with Time-Varying Shading Effects},
author = {Wenbin Li and Darren Cosker and Zhihan Lv and Matthew Brown},
journal= {arXiv preprint arXiv:1603.08120},
year = {2016}
}
备注
preprint of our paper accepted by RA-L'16