基于元学习超网络将监督式深度学习MRI重建推广至多种及未见对比度
图像与视频处理
2023-07-14 v1 计算机视觉与模式识别
机器学习
摘要
元学习近来作为一种数据高效的学习技术，已应用于多种医学成像操作，并推动了当代深度学习模型的发展。此外，元学习通过学习不同成像任务配置的共享与判别性权重，增强了成像任务的知识泛化能力。然而，现有元学习模型试图学习神经网络的单一组权重初始化，这可能限制多模态数据。本工作旨在开发一种用于图像重建的多模态元学习模型，该模型将元学习与演化能力相结合，以涵盖多模态数据的多样采集设置。我们提出的模型称为KM-MAML（基于核调制的多模态元学习），其具有可演化以生成模式特定权重的超网络。这些权重通过对基础网络各核进行低秩核调制操作以重建图像，从而为多种模式提供模式特定的归纳偏置。我们在上下文空间中引入基于梯度的元学习（GBML），以更新超网络针对不同模式的权重。在GBML设置中，超网络与重建网络分别提供判别性的模式特定特征与低层图像特征。多对比度MRI重建实验表明，我们的模型（i）相较联合训练、其他元学习方法及特定上下文MRI重建方法表现出更优的重建性能，（ii）具有更好的适应能力，PSNR提升0.5 dB、SSIM提升0.01。此外，基于U-Net的表征分析显示，核调制在高分辨率层中注入了80%的模式特定表征变化。我们的源代码见 https://github.com/sriprabhar/KM-MAML/。
引用
@article{arxiv.2307.06771,
title = {Generalizing Supervised Deep Learning MRI Reconstruction to Multiple and Unseen Contrasts using Meta-Learning Hypernetworks},
author = {Sriprabha Ramanarayanan and Arun Palla and Keerthi Ram and Mohanasankar Sivaprakasam},
journal= {arXiv preprint arXiv:2307.06771},
year = {2023}
}
备注
Accepted for publication in Elsevier Applied Soft Computing Journal, 36 pages, 18 figures