TSP-OCS：面向多视角手术视频分析的最优相机选择时间序列预测方法
计算机视觉与模式识别
2025-04-10 v1 人工智能
摘要
记录开放手术过程对于教育和医疗评估目的至关重要；然而，传统的单摄像机方法常常面临 surgeon 头部和身体遮挡以及固定摄像角度受限的问题，这会降低视频内容的可理解性。本研究通过采用多视角摄像记录系统，从六个不同角度捕捉手术过程，以缓解遮挡问题。我们提出一种基于完全监督学习的时间序列预测方法，用于从多个同时记录的视频流中选择最佳拍摄序列，确保每一时刻都采用最佳视角。我们的时间序列预测模型通过从手术视频中提取并融合视觉特征和语义特征来预测未来的摄像机选择，这些特征由预训练模型处理。这些特征由具有 TimeBlocks 的时序预测网络处理以捕捉序列依赖性。线性嵌入层降低维度，Softmax 分类器根据最高概率选择最佳摄像机视角。在实验中，我们创建了五组开放性甲状腺切除手术视频，每组均来自六个不同角度的同步录制。结果表明，我们的方法在预测更长时间范围内的准确率与传统监督方法相当甚至更好。此外，我们的方法在数据集上超越了当前最先进的时间序列预测技术。本稿件通过呈现一种创新框架，推动了手术视频分析技术的发展，对提高手术教育和患者安全具有重大意义。
引用
@article{arxiv.2504.06527,
title = {TSP-OCS: A Time-Series Prediction for Optimal Camera Selection in Multi-Viewpoint Surgical Video Analysis},
author = {Xinyu Liu and Xiaoguang Lin and Xiang Liu and Yong Yang and Hongqian Wang and Qilong Sun},
journal= {arXiv preprint arXiv:2504.06527},
year = {2025}
}