基于自监督孪生自编码器的野外图像重打光
计算机视觉与模式识别
2021-08-24 v2
摘要
我们提出了一种针对野外单视图图像的自监督图像重打光（relighting）方法。该方法基于一个自编码器，其将图像解构为两个独立的编码，分别对应于场景光照与内容。为在无监督下解耦该嵌入信息，我们利用如下假设：某些增强操作不影响图像内容，而仅影响光照方向。我们引入了一种称为球谐损失（spherical harmonic loss）的新颖损失函数，其迫使光照嵌入转换为球谐向量。我们在 Youtube 8M 和 CelebA 等大规模数据集上训练模型。我们的实验表明，该方法能在无任何监督或先验形状模型的情况下正确估计场景光照并真实地重打光输入图像。与有监督方法相比，我们的方法具有相近性能且避免了常见的光照伪影。
引用
@article{arxiv.2012.06444,
title = {Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder},
author = {Yang Liu and Alexandros Neophytou and Sunando Sengupta and Eric Sommerlade},
journal= {arXiv preprint arXiv:2012.06444},
year = {2021}
}