用于通用病灶检测的非对称3D上下文融合
图像与视频处理
2021-10-01 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
建模3D上下文对于高性能3D医学图像分析至关重要。尽管2D网络受益于大规模2D监督预训练，但在捕获3D上下文方面较弱。3D网络在3D上下文上能力强但缺乏监督预训练。作为一种新兴技术，\emph{3D上下文融合算子}能够实现从2D预训练网络的转换，兼具两者优势并已取得巨大成功。现有的3D上下文融合算子被设计为空间对称的，即对每片2D切片执行相同操作（如卷积）。然而，这些算子并非真正平移等变的，尤其当仅使用少量3D切片作为输入时。本文提出一种新颖的非对称3D上下文融合算子（A3D），其使用不同权重从不同2D切片融合3D上下文。值得注意的是，A3D并非平移等变，但其在不引入大量计算开销的情况下显著优于现有对称上下文融合算子。我们在DeepLesion基准（一个用于计算机断层扫描（CT）通用病灶检测的大规模公共数据集）上通过大量实验验证了所提方法的有效性。所提A3D以可观的幅度持续优于对称上下文融合算子，并在DeepLesion上确立了新的\emph{state of the art}。为促进开放研究，我们的PyTorch代码与模型可在 https://github.com/M3DV/AlignShift 获取。
引用
@article{arxiv.2109.08684,
title = {Asymmetric 3D Context Fusion for Universal Lesion Detection},
author = {Jiancheng Yang and Yi He and Kaiming Kuang and Zudi Lin and Hanspeter Pfister and Bingbing Ni},
journal= {arXiv preprint arXiv:2109.08684},
year = {2021}
}
备注
MICCAI 2021. The code and model are available at https://github.com/M3DV/AlignShift