面向未经剪裁外科视频的多阶段边界感知变换网络动作分割
计算机视觉与模式识别
2025-06-12 v2
摘要
理解外科工作流程中的动作对于评估术后结果、提高外科训练和效率至关重要。由于个体外科医生的方法差异（受其专业知识和偏好影响），在外科环境中捕捉和分析长序列动作具有挑战性，这种差异性使识别和分割具有模糊边界起止点的离散动作变得复杂。传统模型（如 MS-TCN）依赖大范围感受野，导致过度分割或Under-segmentation，其中离散动作被错误地对齐。为解决这些挑战，我们提出了多阶段边界感知变换网络（MSBATN），采用层次滑动窗口注意力机制以提高动作分割效果。我们的 метод有效管理了动作持续时间变化和细微过渡的复杂性，通过准确识别未经剪裁外科视频中的动作边界起止点。MSBATN 引入一种新型统一损失函数，将动作分类和边界检测优化为相互关联的任务。不同于传统的二元边界检测方法，我们创新的边界加权机制利用上下文信息精确识别动作边界。在三个具有挑战性的外科数据集上进行的广泛实验表明，MSBATN 在 F1 分数上实现了领先性能，尤其在 25% 和 50% 阈值下表现卓越，并在其他指标上取得具竞争力的结果。
引用
@article{arxiv.2504.18756,
title = {Multi-Stage Boundary-Aware Transformer Network for Action Segmentation in Untrimmed Surgical Videos},
author = {Rezowan Shuvo and M S Mekala and Eyad Elyan},
journal= {arXiv preprint arXiv:2504.18756},
year = {2025}
}