利用 TransProteus CGI 数据集预测透明容器内材料、液体与物体的三维形状、掩码及属性
计算机视觉与模式识别
2021-12-22 v2
摘要
我们提出 TransProteus，一个用于从单张图像预测透明容器内材料、液体与物体的三维结构、掩码及属性的数据集和方法，且无需预先知晓图像来源与相机参数。在许多领域中，操控透明容器内的材料至关重要，且高度依赖于视觉。本工作提供了一个新程序化生成的数据集，包含 50k 张透明容器内液体与固体物体的图像。图像标注包括三维模型、材料属性（颜色/透明度/粗糙度……）以及容器及其内容的分割掩码。该数据集的合成（CGI）部分使用 13k 个不同物体、500 个不同环境（HDRI）和 1450 种材料纹理（PBR），并结合模拟液体与程序化生成的容器进行程序化生成。此外，我们提供了 104 张真实世界中透明容器内物体的图像，并附有容器及其内容的深度图。我们提出了一种相机无关的方法，将图像中的三维模型预测为 XYZ 图。这使得训练好的网络能够在无需知晓图像来源的情况下，将三维模型预测为逐像素 XYZ 坐标的图。为计算训练损失，我们使用三维模型内点对之间的距离而非绝对 XYZ 坐标，这使得损失函数具有平移不变性。我们利用此方法从单张图像预测容器及其内容的三维模型。最后，我们展示了一种利用单张图像预测容器内容材料属性与表面的网络。
引用
@article{arxiv.2109.07577,
title = {Predicting 3D shapes, masks, and properties of materials, liquids, and objects inside transparent containers, using the TransProteus CGI dataset},
author = {Sagi Eppel and Haoping Xu and Yi Ru Wang and Alan Aspuru-Guzik},
journal= {arXiv preprint arXiv:2109.07577},
year = {2021}
}