基于上下文感知视频管线的时空学习用于超声视频分析
计算机视觉与模式识别
2025-03-25 v1 人工智能
摘要
针对基于视频的影像学模态，计算机辅助病理检测算法必须准确解释复杂的时空信息，通过整合多个帧中的发现来实现。当前的先进方法通过对视频子体积（管线）进行分类，但往往仅关注检测ROI内的局部区域，导致丢失全局空间上下文。我们提出了一种轻量级框架，用于管线-based对象检测和视频分类，既保留全局空间上下文，又保留细粒度时空特征。为解决全局上下文丢失的问题，我们将管线位置、大小和置信度作为分类器的输入。此外，我们使用来自预训练检测模型的ROI对齐特征图，利用已学习的特征表示扩大感受野并降低计算复杂度。该方法高效，时空管线分类器仅包含0.4万参数。我们将方法应用于检测和分类肺实变和胸腔积液。14,804个视频（来自828名患者）的五折交叉验证表明，我们的方法优于以前的管线-based方法，适用于实时工作流程。
引用
@article{arxiv.2503.17475,
title = {Spatiotemporal Learning with Context-aware Video Tubelets for Ultrasound Video Analysis},
author = {Gary Y. Li and Li Chen and Bryson Hicks and Nikolai Schnittke and David O. Kessler and Jeffrey Shupp and Maria Parker and Cristiana Baloescu and Christopher Moore and Cynthia Gregory and Kenton Gregory and Balasundar Raju and Jochen Kruecker and Alvin Chen},
journal= {arXiv preprint arXiv:2503.17475},
year = {2025}
}
备注
ISBI Oral 2025