基于定制化度量函数的合成双图像生成，用于降低显微图像语义分割中的标注工作量
计算机视觉与模式识别
2024-08-02 v1 计算工程、金融与科学
机器学习
摘要
训练用于材料分析的语义分割模型需要显微图像及其对应的掩码。完美掩码极难绘制，尤其是在物体边缘，而且有时可获得的数据量很小，因为仅有少量样本。这些因素使得训练鲁棒模型变得非常困难。我们展示了一种通过生成合成微观结构图像及其对应掩码来改进显微图像语义分割模型的工作流程。该工作流程仅需将少量显微图像及其对应掩码拼接，即可创建用于向量量化变分自编码器（Vector Quantised-Variational AutoEncoder）模型的输入，该模型包含一个嵌入空间，训练使得生成模型（PixelCNN）学习每个输入经离散化编码后的分布，并可用于采样新编码。这些编码随后由VQ-VAE解码，生成用于语义分割的图像及其对应掩码。为评估合成数据，我们使用不同数量的合成数据与真实数据联合训练U-Net模型。这些模型随后仅使用非合成图像进行评估。此外，我们引入了一种由平均交并比(mIoU)导出的定制化度量。所提出的度量可防止少量错误预测像素大幅降低mIoU的值。我们在样本制备和采集时间方面取得了减少，在图像处理与标注任务方面的所需工作量也有所降低。该方法可推广至多种类型的图像数据，使其成为使用少量真实图像训练模型的用户友好解决方案。
引用
@article{arxiv.2408.00707,
title = {Synthetic dual image generation for reduction of labeling efforts in semantic segmentation of micrographs with a customized metric function},
author = {Matias Oscar Volman Stern and Dominic Hohs and Andreas Jansche and Timo Bernthaler and Gerhard Schneider},
journal= {arXiv preprint arXiv:2408.00707},
year = {2024}
}