基于动作图的手术视频合成：VISAGE

手术数据科学 (SDS) 是分析术前、术中和术后患者数据以改善手术结果和技能的领域。然而，手术数据稀缺、异构且复杂，限制了现有机器学习方法的适用性。本文引入了腹式手术未来视频生成的新任务。该任务可增强和丰富现有手术数据，并可支持各种应用，如模拟、分析和机器人辅助手术。最终，这涉及不仅要理解当前操作状态，还要准确预测手术程序的动态性且常常不可预测的本质。我们提出的方法 VISAGE (VIdeo Synthesis using Action Graphs for Surgery) 利用动作场景图的力量来捕捉腹式手术程序的序列化特性，并利用扩散模型来合成具有时序一致性的视频序列。VISAGE 仅凭给定的单一初始帧和动作图三元组即可预测未来帧。通过将领域特定知识融入动作图，VISAGE 确保生成的视频符合真实腹式手术程序中所观察到的预期视觉和运动模式。我们的实验结果表明，VISAGE 能够为腹式手术程序实现高保真度视频生成，从而支持 SDS 的各种应用。