Lightstage 数据的法线图修复

本研究引入了一种使用生成对抗网络（GAN）进行法线图修复的新方法。法线图通常源自 lightstage，在动作捕捉中至关重要，但可能会因移动（例如被手臂、头发或道具遮挡）而出现遮挡区域。修复用合理的数据填充这些缺失区域。我们的方法扩展了先前的一般图像修复技术，采用类似蝴蝶结的生成器网络和判别器网络，并具有交替的训练阶段。生成器旨在合成与真值对齐的图像并欺骗判别器，而判别器则区分真实图像与处理后的图像。判别器会定期进行重训练，以增强其识别处理后图像的能力。重要的是，我们的方法适应法线图数据的独特特征，需要对损失函数进行修改。我们在生成器训练中使用余弦损失代替均方误差损失。即使有合成数据集，有限的训练数据可用性也需要大量的数据增强，并考虑到输入数据的特定性质。这包括适当的图像翻转和面内旋转，以准确改变法向量。在整个训练过程中，我们监测了生成器的关键指标，如平均损失、结构相似性指数测度（SSIM）和峰值信噪比（PSNR），以及判别器的平均损失和准确率。我们的研究结果表明，所提出的模型有效地生成了高质量、逼真的修复法线图，适用于动作捕捉应用。这些结果为未来的研究奠定了基础，未来可能涉及更先进的网络以及与用于创建法线图的源图像修复进行比较。