RiCS：用于调和体积物体的二维自遮挡图
计算机视觉与模式识别
2022-05-17 v1 人工智能
机器学习
摘要
深度学习在计算机视觉领域取得了显著成功。尽管此类突破展现出鲁棒性能，在深入学习知识（如遮挡或预测物理交互）方面仍存在诸多挑战。尽管近期一些工作展示了3D数据在此类情境下的潜力，但由于2D与3D之间维度不对齐，如何高效地将3D输入提供给2D模型尚不明晰。为利用2D模型在预测自遮挡方面的成功，我们设计了相机空间光线步进（RiCS），一种将前景物体3D自遮挡表示为2D自遮挡图的新方法。我们通过预测与给定背景图像一致的阴影，在人体图像调和任务上测试了该方法表示的有效性。我们的实验表明，无论是定量还是定性地，该表示图不仅使我们能够提升图像质量，还能建模时间上一致的复杂阴影效果，优于仿真到真实与调和方法。我们进一步表明，通过我们的方法提升调和质量，可显著改进在现有合成数据集上训练的人体部位分割网络的性能。
引用
@article{arxiv.2205.06975,
title = {RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects},
author = {Yunseok Jang and Ruben Villegas and Jimei Yang and Duygu Ceylan and Xin Sun and Honglak Lee},
journal= {arXiv preprint arXiv:2205.06975},
year = {2022}
}
备注
Accepted paper at AI for Content Creation Workshop (AICC) at CVPR 2022