ClevrTex：一个面向无监督多目标分割的纹理丰富基准
计算机视觉与模式识别
2021-11-22 v1 机器学习
摘要
近来涌现出大量以无监督方式分解并将场景分割为多个目标的方法，即无监督多目标分割。执行此类任务是计算机视觉的长期目标，有望在无需密集标注来训练分割模型的情况下解锁目标级推理。尽管取得了显著进展，当前模型是在视觉简单的场景上开发和训练的，这些场景描绘的是纯色背景上的单色物体。然而，自然世界在视觉上是复杂的，具有诸如多样纹理和复杂光照效果等混淆因素。在本研究中，我们提出了一个名为 ClevrTex 的新基准，旨在作为比较、评估和分析算法的下一个挑战。ClevrTex 具有使用基于物理的渲染技术创建的具有多样形状、纹理和照片映射材料的合成场景。它包含 50k 个描绘排列在背景上的 3-10 个物体的示例，使用 60 种材料的目录创建，以及另一个使用 25 种不同材料创建的包含 10k 图像的训练测试集。我们在 ClevrTex 上对大量近期的无监督多目标分割模型进行了基准测试，发现尽管在更简单的数据上表现令人印象深刻，但所有最先进的方法都无法在纹理设定下学习到良好的表示。我们还创建了 ClevrTex 数据集的变体，控制场景复杂性的不同方面，并探查当前方法各自的缺陷。数据集和代码可在 https://www.robots.ox.ac.uk/~vgg/research/clevrtex 获取。
引用
@article{arxiv.2111.10265,
title = {ClevrTex: A Texture-Rich Benchmark for Unsupervised Multi-Object Segmentation},
author = {Laurynas Karazija and Iro Laina and Christian Rupprecht},
journal= {arXiv preprint arXiv:2111.10265},
year = {2021}
}
备注
NeurIPS 2021 Datasets and Benchmarks