用于合成神经影像质量评估的 K 空间感知跨模态评分
图像与视频处理
2024-02-12 v2 计算机视觉与模式识别
摘要
如何评估跨模态医学图像合成的问题在很大程度上未被探索。PSNR 和 SSIM 等最常用度量侧重于分析结构特征，却忽视了医学图像关键的病灶位置和基本的 k 空间特性。为克服该问题，我们提出一种新指标 K-CROSS 以推动这一挑战性问题的进展。具体而言，K-CROSS 使用预训练的多模态分割网络预测病灶位置，并结合肿瘤编码器表示纹理细节和亮度强度等特征。为进一步反映来自磁共振成像原理的频域特定信息，我们获取 k 空间特征与视觉特征，并将其用于带频率重建惩罚的综合编码器中。结构共享编码器经设计并以相似性损失约束，以捕获两模态间内在共有的结构信息。因此，从病灶区域、k 空间和解剖结构学到的特征均被捕获，并作为我们的质量评估器。我们通过构建含 6,000 条放射科医生判断的大规模跨模态神经影像感知相似性（NIRPS）数据集来评估性能。大量实验表明，所提方法优于其他指标，尤其在 NIRPS 上与放射科医生对比时。
引用
@article{arxiv.2307.04296,
title = {K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality Assessment},
author = {Guoyang Xie and Jinbao Wang and Yawen Huang and Jiayi Lyu and Feng Zheng and Yefeng Zheng and Yaochu Jin},
journal= {arXiv preprint arXiv:2307.04296},
year = {2024}
}