基于解耦表示的自监督二维图像到三维形状转换
计算机视觉与模式识别
2021-02-02 v2
摘要
我们提出一个在2D图像视图与3D物体形状间进行转换的框架。深度学习的近期进展使我们能从场景中学习结构感知的表示。然而，现有文献假设训练时可用图像与3D形状配对以进行全监督。本文中，我们提出SIST，一种自监督图像到形状转换框架，可完成三项任务：（i）从单张图像重建3D形状；（ii）学习形状、外观与视点的解耦表示；以及（iii）由这些独立因子生成逼真的RGB图像。与现有方法不同，我们的方法不需要图像-形状配对进行训练。相反，它使用来自同一物体类的未配对图像与形状数据集，并联合训练图像生成器与形状重建网络。我们的转换方法取得了有前景的结果，在定量与定性上可与全监督方法达到的SOTA相媲美。
引用
@article{arxiv.2003.10016,
title = {Self-Supervised 2D Image to 3D Shape Translation with Disentangled Representations},
author = {Berk Kaya and Radu Timofte},
journal= {arXiv preprint arXiv:2003.10016},
year = {2021}
}
备注
Published in 2020 International Conference on 3D Vision (3DV)