基于自监督虚拟学习的胸腔镜图像形状重建
计算机视觉与模式识别
2023-01-27 v1 图像与视频处理
摘要
从内镜相机图像进行器官术中形状重建是图像引导手术中一项复杂却不可或缺的技术。为解决从单视角遮挡图像重建完整形状的不确定性，我们提出一种利用图像翻译并结合模拟与真实图像间公共潜变量的生成式虚拟学习形状重建框架。由于难以准备足量数据以学习内镜图像与器官形状间的关系，我们使用统计形状模型生成的模拟图像进行自监督虚拟学习。然而，即便模拟图像在人类看来等价，虚拟与真实图像间的微小差异也会降低估计性能。为解决此问题，我们使用变分自编码器将真实与模拟图像转换为一致的合成图像。本研究以胸腔镜图像中塌陷肺的形状重建为目标，确认虚拟学习可提升真实与模拟图像的相似性。此外，形状重建误差改善了 16.9%。
引用
@article{arxiv.2301.10863,
title = {Shape Reconstruction from Thoracoscopic Images using Self-supervised Virtual Learning},
author = {Tomoki Oya and Megumi Nakao and Tetsuya Matsuda},
journal= {arXiv preprint arXiv:2301.10863},
year = {2023}
}