经验总结：深度网络模块化可实现跨模态复用
图像与视频处理
2019-11-07 v1 机器学习
摘要
眼底照相与光学相干断层扫描血管造影 (OCT-A) 是眼科成像中两种常用模态。随着深度学习算法的发展，眼底图像处理尤其是视网膜血管分割已被广泛研究。基于已知算子理论，已在眼底图像上构建了具有明确定义模块的可解释深度网络流水线。本工作中，我们首先在 DRIVE 眼底数据库上训练用于视网膜血管分割任务的模块化网络流水线。随后将该流水线中预训练的预处理模块直接迁移至 OCT-A 数据用于图像质量增强，无需进一步微调。输出图像显示，该预处理网络可平衡对比度、抑制噪声，从而在两种图像模态中生成连通性改善的血管树。由五位 OCT-A 专家进行的观察者研究证实了这一视觉印象。专家评分统计表明，该迁移模块同时改善了图像质量与诊断质量。我们的工作提供了一个实例：基于已知算子理论构建的网络流水线中的模块可在无额外训练或迁移学习的情况下促进跨模态复用。
引用
@article{arxiv.1911.02080,
title = {Lesson Learnt: Modularization of Deep Networks Allow Cross-Modality Reuse},
author = {Weilin Fu and Lennart Husvogt and Stefan Ploner James G. Fujimoto Andreas Maier},
journal= {arXiv preprint arXiv:1911.02080},
year = {2019}
}
备注
6 pages, 3 figures