LayeredFlow：一个面向非朗伯多层光流的真实世界基准

实现对非朗伯物体的三维理解是一项重要任务，具有许多有用的应用，但大多数现有算法难以处理此类物体。该领域进展的一个主要障碍是缺乏全面的非朗伯基准——大多数基准的场景和物体多样性较低，并且没有一个为被透明表面遮挡的物体提供多层三维标注。在本文中，我们介绍了 LayeredFlow，这是一个真实世界基准，包含非朗伯物体光流的多层真实标注。与以往的基准相比，我们的基准展现了更大的场景和物体多样性，拥有在 185 个室内外场景和 360 个独特物体上采集的 15 万对高质量光流和立体图像对。使用 LayeredFlow 作为评估数据，我们提出了一项名为多层光流的新任务。为了为此任务提供训练数据，我们引入了一个大规模密集标注的合成数据集，包含 30 个场景中的 6 万张图像，专为非朗伯物体量身定制。在我们的合成数据集上训练使模型能够预测多层光流，而在该数据集上微调现有光流方法则显著提升了它们在非朗伯物体上的性能，同时不影响在漫反射物体上的性能。数据可在 https://layeredflow.cs.princeton.edu 获取。