三维各向异性混合网络：将二维图像的卷积特征迁移至三维各向异性体数据
计算机视觉与模式识别
2017-12-05 v2
摘要
尽管深度卷积神经网络(CNN)已成功应用于二维图像分析，将其应用于三维各向异性体数据仍具挑战性，尤其在切片内分辨率远高于切片间分辨率且三维体数据量相对较少时。一方面，直接使用三维卷积核学习 CNN 受限于数据匮乏，很可能泛化能力差；不足的 GPU 内存限制了模型规模或表征能力。另一方面，将具有可泛化特征的二维 CNN 应用于二维切片忽略了切片间信息。将二维网络与 LSTM 耦合以进一步处理切片间信息由于 LSTM 学习困难而非最优。为克服上述挑战，我们提出一种三维各向异性混合网络(AH-Net)，将自二维图像学到的卷积特征迁移至三维各向异性体数据。此种迁移继承了切片内信息所需的强泛化能力，同时自然利用切片间信息以实现更有效的建模。进一步采用 focal loss 以实现更有效的端到端学习。我们在两个不同医学图像分析任务上实验所提出的三维 AH-Net，即数字乳腺断层合成体数据的病灶检测，以及计算机断层扫描体数据的肝脏与肝肿瘤分割，并取得了当前最优结果。
引用
@article{arxiv.1711.08580,
title = {3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes},
author = {Siqi Liu and Daguang Xu and S. Kevin Zhou and Thomas Mertelmeier and Julia Wicklein and Anna Jerebko and Sasa Grbic and Olivier Pauly and Weidong Cai and Dorin Comaniciu},
journal= {arXiv preprint arXiv:1711.08580},
year = {2017}
}