MaSkel：一种从人体掩码图像生成人体全身 X 光片的模型
图像与视频处理
2024-04-16 v1 计算机视觉与模式识别
机器学习
摘要
人体全身 X 光片可为医学诊断、数字动画建模和人体工学设计等多种应用提供有价值的参考。获取 X 光信息的传统方法需要使用 CT（计算机断层扫描）扫描机，该设备会发出潜在有害的辐射。因此，由于缺乏适应性和安全性，该方法在实际应用中面临重大限制。在我们的工作中，我们提出了一种直接从人体掩码图像生成二维人体全身 X 光片的新方法。预测图像将在图像风格和解剖结构上与真实图像相似。我们采用了数据驱动的策略。通过利用先进的生成技术，我们的模型 MaSkel（从掩码图像到骨骼 X 光片）能够从人体掩码图像生成高质量的 X 光图像，而无需进行侵入性和有害的辐射暴露，这不仅为生成高度解剖学且定制化的数据提供了新途径，还降低了健康风险。据我们所知，我们的模型 MaSkel 是首个用于预测全身 X 光片的工作。在本文中，我们完成了两部分工作。第一部分是解决数据限制问题，利用基于扩散的技术进行数据增强，为初步预训练提供了两个合成数据集。然后，我们设计了一个两阶段训练策略来训练 MaSkel。最后，我们对生成的 X 光片进行了定性和定量评估。此外，我们还邀请了一些专业医生来评估我们预测的数据。这些评估证明了 MaSkel 从人体掩码图像生成解剖学 X 光片的卓越能力。相关代码和数据集链接可在 https://github.com/2022yingjie/MaSkel 获取。
引用
@article{arxiv.2404.09000,
title = {MaSkel: A Model for Human Whole-body X-rays Generation from Human Masking Images},
author = {Yingjie Xi and Boyuan Cheng and Jingyao Cai and Jian Jun Zhang and Xiaosong Yang},
journal= {arXiv preprint arXiv:2404.09000},
year = {2024}
}