基于时空可变形注意力的视频乳腺病灶检测框架
计算机视觉与模式识别
2023-09-12 v1
摘要
视频中乳腺病灶的检测对计算机辅助诊断至关重要。现有的基于视频的乳腺病灶检测方法通常基于自注意力操作对深层骨干特征进行时间特征聚合。我们认为此类策略难以有效进行深层特征聚合，且忽略了有用的局部信息。为解决这些问题，我们提出了一种基于时空可变形注意力的框架，称为 STNet。我们的 STNet 引入了时空可变形注意力模块来执行局部时空特征融合。该模块在编码器与解码器的每个阶段均进行深层特征聚合。为进一步加速检测速度，我们引入了编码器特征洗牌策略用于推理时的多帧预测。在该策略中，我们共享骨干与编码器特征，并对编码器特征进行洗牌以供解码器生成多帧预测。在公开乳腺病灶超声视频数据集上的实验表明，我们的 STNet 取得了最先进的检测性能，同时推理速度提升一倍。代码与模型见 https://github.com/AlfredQin/STNet。
引用
@article{arxiv.2309.04702,
title = {A Spatial-Temporal Deformable Attention based Framework for Breast Lesion Detection in Videos},
author = {Chao Qin and Jiale Cao and Huazhu Fu and Rao Muhammad Anwer and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2309.04702},
year = {2023}
}
备注
Accepted by MICCAI 2023