多传感器学习实现跨不同感知数据的信息传递并增强多模态成像
图像与视频处理
2024-10-01 v1 计算机视觉与模式识别
摘要
多模态成像在临床实践和生物医学研究中广泛应用，以全面理解成像对象的姿态。当前的多模态成像通过互信息引导或空间注册硬件后联合独立重建图像，限制了其准确性和实用性。本文研究了一种数据驱动的多模态成像（DMI）策略，用于 CT 和 MRI 的协同成像。我们揭示了多模态成像中两种不同类型的特征，即单模态和跨模态特征，并提出一种多传感器学习（MSL）框架，用于利用交叉的跨模态特征实现增强型多模态成像。MSL 成像方法打破了传统成像模态的边界，实现了 CT 和 MRI 的最优混合，从而最大化感知数据的利用。我们通过 CT-MRI 大脑成像展示了该 DMI 策略的有效性。该 DMI 原理具有广泛的应用前景，可跨越多个领域。
引用
@article{arxiv.2409.19420,
title = {Multi-sensor Learning Enables Information Transfer across Different Sensory Data and Augments Multi-modality Imaging},
author = {Lingting Zhu and Yizheng Chen and Lianli Liu and Lei Xing and Lequan Yu},
journal= {arXiv preprint arXiv:2409.19420},
year = {2024}
}
备注
18 pages, 14 figures. Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence