基于点云表示的内蕴图像分解
计算机视觉与模式识别
2024-03-29 v2
摘要
内蕴分解的目的是将图像分离为反射率（反照率）与光照（阴影）分量。这具有挑战性，因为它是一个病态问题。传统方法主要关注 2D 图像，未能充分利用 3D 数据表示的能力。3D 点云通过有效结合几何与颜色信息，提供了更全面的场景表示格式。为此，本文我们引入 Point Intrinsic Net（PoInt-Net），利用 3D 点云数据同时估计反照率与阴影图。PoInt-Net 的优点包括以下几方面。首先，模型高效，仅需在小规模点云上训练即可在任意规模点云上取得一致性能。其次，它展现出显著鲁棒性；即使仅在由单个物体组成的数据集上训练，PoInt-Net 对未见过的物体与场景也表现出强泛化能力。第三，它比传统 2D 方法具有更高精度，在不同数据集的多种指标上均展现出增强的性能。（代码已发布）
引用
@article{arxiv.2307.10924,
title = {Intrinsic Image Decomposition Using Point Cloud Representation},
author = {Xiaoyan Xing and Konrad Groh and Sezer Karaoglu and Theo Gevers},
journal= {arXiv preprint arXiv:2307.10924},
year = {2024}
}
备注
Code: https://github.com/xyxingx/PoInt-Net