基于模拟外科 3D 数据的长时时间一致无配对视频翻译
计算机视觉与模式识别
2021-08-20 v2
摘要
无配对视频翻译的研究主要集中于通过以相邻帧为条件实现短期时间一致性。然而对于从模拟到真实感序列的迁移，底层几何的可用信息为实现跨视角的全局一致性提供了潜力。我们提出一种将无配对图像翻译与神经渲染相结合的新方法，以将模拟的外科腹部场景迁移为真实感场景。通过引入全局可学习纹理与光照不变视角一致性损失，我们的方法可生成任意视角的一致翻译，从而实现长时一致视频合成。我们设计并测试了我们的模型，以从微创外科腹部场景生成视频序列。由于该领域标注数据往往有限，保留模拟域真实信息的真实感数据尤为相关。通过将现有基于图像的方法扩展至视角一致视频，我们旨在提升模拟训练与评估环境在外科学中的应用性。代码与数据：http://opencas.dkfz.de/video-sim2real。
引用
@article{arxiv.2103.17204,
title = {Long-Term Temporally Consistent Unpaired Video Translation from Simulated Surgical 3D Data},
author = {Dominik Rivoir and Micha Pfeiffer and Reuben Docea and Fiona Kolbinger and Carina Riediger and Jürgen Weitz and Stefanie Speidel},
journal= {arXiv preprint arXiv:2103.17204},
year = {2021}
}
备注
Accepted at the International Conference on Computer Vision (ICCV) 2021