用于协同外科训练与数据生成的虚拟现实
机器人学
2021-11-17 v1
摘要
外科模拟器不仅允许对复杂手术进行规划与训练，还能生成结构化数据用于算法开发，这些数据可应用于图像引导的计算机辅助介入。尽管在开发面向外科医生的训练平台或数据生成引擎方面已有诸多努力，但据我们所知，这两类功能从未被一同提供。我们提出了一种经济高效且协同的框架，称为异步多体框架增强版（AMBF+），它能在用户练习手术技能的同时为下游算法开发生成数据。AMBF+ 在虚拟现实（VR）设备上提供立体显示与触觉反馈，用于沉浸式手术仿真。它还能生成物体位姿与分割图等多种数据。AMBF+ 采用灵活的插件式设计，可无干扰地扩展以仿真不同的外科手术流程。我们展示了 AMBF+ 作为侧颅底手术虚拟钻孔模拟器的一个用例，用户可使用虚拟手术钻主动修改患者解剖结构。我们进一步演示了所生成的数据如何用于验证和训练下游计算机视觉算法。
引用
@article{arxiv.2111.08097,
title = {Virtual Reality for Synergistic Surgical Training and Data Generation},
author = {Adnan Munawar and Zhaoshuo Li and Punit Kunjam and Nimesh Nagururu and Andy S. Ding and Peter Kazanzides and Thomas Looi and Francis X. Creighton and Russell H. Taylor and Mathias Unberath},
journal= {arXiv preprint arXiv:2111.08097},
year = {2021}
}
备注
MICCAI 2021 AE-CAI "Outstanding Paper Award" Code: https://github.com/LCSR-SICKKIDS/volumetric_drilling