DermSynth3D：野外标注皮肤病图像的合成
图像与视频处理
2024-04-23 v4 计算机视觉与模式识别
机器学习
摘要
近年来，深度学习（DL）在皮肤病图像分析领域展现出巨大潜力。然而，该领域现有数据集存在显著局限，包括图像样本少、疾病种类有限、标注不足以及图像采集非标准化。为克服这些不足，我们提出一种称为 DermSynth3D 的新框架。DermSynth3D 使用可微渲染器将皮肤病模式融合到人体受试者的 3D 纹理网格上，并在选定光照条件和多样背景场景下面从多种相机视角生成 2D 图像。我们的方法遵循自顶向下规则，约束融合与渲染过程以创建具有模拟野外采集的皮肤状况的 2D 图像，确保更有意义的结果。该框架生成照片级真实的 2D 皮肤镜图像，以及用于皮肤、皮肤状况、身体部位语义分割的相应密集标注、病灶周围边界框、深度图和其他 3D 场景参数（如相机位置和光照条件）。DermSynth3D 允许为各种皮肤病任务创建自定义数据集。我们通过在合成数据上训练 DL 模型并使用真实 2D 皮肤病图像在各种皮肤病任务上评估它们，证明了使用 DermSynth3D 生成数据的有效性。我们的代码公开于 https://github.com/sfu-mial/DermSynth3D。
引用
@article{arxiv.2305.12621,
title = {DermSynth3D: Synthesis of in-the-wild Annotated Dermatology Images},
author = {Ashish Sinha and Jeremy Kawahara and Arezou Pakzad and Kumar Abhishek and Matthieu Ruthven and Enjie Ghorbel and Anis Kacem and Djamila Aouada and Ghassan Hamarneh},
journal= {arXiv preprint arXiv:2305.12621},
year = {2024}
}
备注
Accepted to Medical Image Analysis (MedIA) 2024