物理解耦表征
计算机视觉与模式识别
2022-04-12 v1
摘要
生成式表征学习的最先进方法能够实现语义解耦，但通常不考虑几何、反照率、光照或相机等物理场景参数。我们假定，逆渲染——一种从图像中反转渲染过程以恢复场景参数的方法——也可用于在无需监督的情况下学习场景的物理解耦表征。在本文中，我们展示了逆渲染在学习表征中的效用，这些表征借助我们新颖的留一法循环对比损失（Leave-One-Out, Cycle Contrastive loss，LOOCC）在下游聚类、线性分类和分割任务上取得了更高的精度，LOOCC 改善了场景参数的解耦性以及对分布外光照和视点的鲁棒性。我们将我们的方法与其他生成式表征学习方法在多种下游任务上进行比较，包括人脸属性分类、情绪识别、身份识别、人脸分割和车辆分类。我们的物理解耦表征在所有任务上均比语义解耦的替代方法取得更高精度，最高高出 18%。我们希望这项工作能激励未来将逆渲染与 3D 理解方面的进展应用于表征学习的研究。
引用
@article{arxiv.2204.05281,
title = {Physically Disentangled Representations},
author = {Tzofi Klinghoffer and Kushagra Tiwary and Arkadiusz Balata and Vivek Sharma and Ramesh Raskar},
journal= {arXiv preprint arXiv:2204.05281},
year = {2022}
}