中文

丰富信息与保持语义一致性的扩展曲线状物体分割数据集

计算机视觉与模式识别 2024-07-12 v1

摘要

曲线状物体分割在 various applications 中发挥着关键作用,但该领域的数据集常常因数据获取和标注的高成本而规模较小。为此,本文提出了一种新方法,用于扩展曲线状物体分割数据集,侧重于增强生成数据的信息性以及语义图与生成图像之间的一致性。我们的 method 通过多文本特征生成曲线状物体,以丰富合成数据的信息性。通过组合原始数据集中每个样本的文本特征,我们获得超出原始数据集分布的合成图像。这一举措 necessititated 创建基于文本生成的曲线状物体分割数据集(COSTG)。COSTG 不仅包含标准语义图,还包含曲线状物体特征的文本描述。为确保合成语义图与图像之间的一致性,我们引入了保持语义一致性的控制网络(SCP ControlNet)。这涉及对ControlNet进行适应,以可变归一化(SPADE)方式处理,允许它保留通常在归一化层中被冲淡的语义信息。这一修改促进了更准确的语义图像合成。实验结果表明,我们的方法在三类曲线状物体(血管造影、裂纹和视网膜)以及六个公开数据集(CHUAC, XCAD, DCA1, DRIVE, CHASEDB1和Crack500)上有效。由我们的 method 生成的合成数据不仅扩展了数据集,还有效地提高了其他曲线状物体分割模型的性能。源代码和数据集可在 \url{https://github.com/tanlei0/COSTG} 获取。

关键词

引用

@article{arxiv.2407.08209,
  title  = {Enriching Information and Preserving Semantic Consistency in Expanding Curvilinear Object Segmentation Datasets},
  author = {Qin Lei and Jiang Zhong and Qizhu Dai},
  journal= {arXiv preprint arXiv:2407.08209},
  year   = {2024}
}

备注

ECCV 2024