利用循环生成对抗网络优化合成图像真实感以提升部件分割性能
计算机视觉与模式识别
2018-03-19 v1
摘要
在本文中，我们报告了通过使用卷积神经网络来提升部件分割性能，以减少对大量人工标注的经验图像的依赖。这是通过优化合成农业图像的视觉真实感来实现的。在第一部分中，对合成图像和经验图像应用了循环一致生成对抗网络，目标是通过将合成图像转换到经验域来生成更真实的合成图像。我们首先假设并确认，在合成图像转换后，植物部件图像特征（如颜色和纹理）变得更类似于经验域。结果证实了这一点，转换前与经验数据的平均颜色分布相关性为 0.62，转换后提升至 0.90。此外，转换后对比度、同质性、能量和熵的平均图像特征更接近经验均值。在第二部分中，使用卷积神经网络对合成图像、转换为经验域的合成图像和经验图像的不同组合进行了 7 项实验。我们假设转换后的图像可用于：(i) 改进经验图像的学习，以及 (ii) 使用转换后的图像而非合成图像进行引导，能够在无需使用经验图像进行微调的情况下改善学习效果。结果证实了我们的第二和第三个假设。首先，使用转换后的图像进行引导并使用经验图像进行微调时，获得了 0.52 的最大交并比性能；与仅使用合成图像相比提升了 8%。其次，无需任何经验图像微调的训练导致了 0.31 的平均 IOU；与仅使用合成图像的先前方法相比，性能提升了 55%。
引用
@article{arxiv.1803.06301,
title = {Improved Part Segmentation Performance by Optimising Realism of Synthetic Images using Cycle Generative Adversarial Networks},
author = {Ruud Barth and Jochen Hemming and Eldert J. van Henten},
journal= {arXiv preprint arXiv:1803.06301},
year = {2018}
}