医学图像变换的无监督动态建模
医学物理
2024-10-16 v2 计算机视觉与模式识别
机器学习
系统与控制
图像与视频处理
系统与控制
摘要
时空成像在例如心脏诊断、手术引导和放疗监测中有应用。在本文中，我们仅基于序列图像，通过识别底层动力学来解释时间运动。我们的动力学模型将观测到的高维序列图像输入映射到一个低维潜空间，其中隐藏状态过程与输入的低维表示之间保持线性关系。为此，我们使用条件变分自编码器（CVAE）将高维图像非线性映射到低维空间，并在其中用线性高斯状态空间模型（LG-SSM）对动力学建模。该模型是卡尔曼变分自编码器的改进版本，可端到端训练，且 CVAE 与 LG-SSM 中的权重通过最大化边际似然的证据下界同时更新。与原始模型不同，我们用从一幅图像到另一幅图像的空间变换来解释运动。这带来了更清晰的重建，以及通过图像序列传递辅助信息（如分割）的可能性。我们在心脏超声时间序列上的实验表明，该动态模型在执行时间上优于传统图像配准，且性能相近。此外，我们的模型提供了对缺失样本进行插值与外推的可能性。
引用
@article{arxiv.2103.00930,
title = {Unsupervised dynamic modeling of medical image transformation},
author = {Niklas Gunnarsson and Peter Kimstrand and Jens Sjölund and Thomas B. Schön},
journal= {arXiv preprint arXiv:2103.00930},
year = {2024}
}
备注
published in 2022 25th International Conference on Information Fusion (FUSION)