为三维图像重塑二维卷积
图像与视频处理
2021-01-11 v4 计算机视觉与模式识别
机器学习
摘要
关于三维医学图像上二维与三维表示学习的争论由来已久。二维方法可受益于大规模二维预训练，但通常难以捕捉大型三维上下文。三维方法天然擅长三维上下文，然而公开可用的三维医学数据集极少达到足以支持通用三维预训练的规模与多样性。即便是混合（二维+三维）方法，其二维/三维部分的内在缺陷依然存在。本研究通过重塑二维卷积，弥合二维与三维卷积之间的鸿沟。我们提出 ACS（轴状-冠状-矢状，axial-coronal-sagittal）卷积，在利用二维数据集预训练权重的同时原生执行三维表示学习。在 ACS 卷积中，二维卷积核按通道拆分为三部分，并分别在三维表示的三个视图（轴状、冠状、矢状）上卷积。理论上，任何二维 CNN（ResNet、DenseNet 或 DeepLab）都能转换为参数规模相同的三维 ACS CNN，并载入预训练权重。在多个医学基准（包括分类、分割与检测任务）上的大量实验验证了预训练 ACS CNN 相对于带/不带预训练的二维/三维 CNN 对应模型具有一致优越性。即便无预训练，ACS 卷积也可作为标准三维卷积的即插即用替代，且模型更小、计算更少。
引用
@article{arxiv.1911.10477,
title = {Reinventing 2D Convolutions for 3D Images},
author = {Jiancheng Yang and Xiaoyang Huang and Yi He and Jingwei Xu and Canqian Yang and Guozheng Xu and Bingbing Ni},
journal= {arXiv preprint arXiv:1911.10477},
year = {2021}
}
备注
IEEE Journal of Biomedical and Health Informatics (IEEE JBHI). Code is available at https://github.com/m3dv/ACSConv