MiDAS：用于机器人辅助微创手术的多模态数据采集系统与数据集

背景：机器人辅助微创手术（RMIS）研究日益依赖多模态数据，然而对专有机器人遥测数据的访问仍是一大障碍。我们提出MiDAS，一个开源、平台无关的系统，能够在手术机器人平台上实现时间同步、非侵入式的多模态数据采集。方法：MiDAS集成了电磁与RGB-D手部追踪、脚踏板感应以及手术视频采集，无需专有机器人接口。我们通过采集由外科住院医师执行的移桩和疝修补缝合任务的多模态数据集，在开源Raven-II和临床da Vinci Xi平台上验证了MiDAS。进行了相关性分析和下游手势识别实验。结果：外部手部和脚部感应信号与内部机器人运动学高度近似，且非侵入式运动信号实现了与专有遥测数据相当的手势识别性能。结论：MiDAS能够实现可复现的多模态RMIS数据采集，并随附带注释的数据集一同发布，其中包括首个在高保真模拟模型上捕获疝修补缝合过程的多模态数据集。