使用稳定扩散与人类参与注释生成逼真的 X 射线散射图像
图像与视频处理
2024-08-26 v1 人工智能
机器学习
摘要
我们对基于稳定扩散的基础模型进行微调，使其能够使用 X 射线散射图像及其对应的描述来生成给定提示下的新型科学图像。然而，部分生成图像会出现显著的不真实 artifact，常称为“幻觉”。为解决此问题，我们在由 60% 人类批准的生成图像和 40% 实验图像组成的数据集上训练各种计算机视觉模型，以检测不真实的图像。对分类后的图像进行人类专家审核和纠正，然后用于在后续训练和推理中进一步优化分类器。我们的评估表明，使用微调扩散模型生成高保真、领域特定图像是可行的。我们预计生成式 AI 将在提高数据增强和推动科学研究设施数字孪生体发展中发挥关键作用。
引用
@article{arxiv.2408.12720,
title = {Generating Realistic X-ray Scattering Images Using Stable Diffusion and Human-in-the-loop Annotations},
author = {Zhuowen Zhao and Xiaoya Chong and Tanny Chavez and Alexander Hexemer},
journal= {arXiv preprint arXiv:2408.12720},
year = {2024}
}