立体神经风格迁移

本文首次尝试立体神经风格迁移，以响应 3D 电影或 AR/VR 的新兴需求。我们首先仔细考察将现有单目风格迁移方法分别应用于立体图像的左右视图。这揭示出原始视差一致性在最终风格化结果中不能很好保持，从而导致观看者产生 3D 疲劳。为解决此问题，我们通过在非遮挡区域强制双向视差约束，将新的视差损失纳入广泛采用的风格损失函数。为实用的实时方案，我们提出首个前馈网络，通过联合训练风格化子网络与视差子网络，并将它们在特征级中间域中集成。我们的视差子网络也是首个用于同步双向视差与遮挡掩码估计的端到端网络。最后，通过同时考虑时间相干性与视差一致性，我们的网络被有效扩展至立体视频。我们将展示所提方法在定量与定性上均明显优于基线算法。