基于生成模型的组织病理学图像增强与分类统一框架
图像与视频处理
2024-10-15 v2 计算机视觉与模式识别
摘要
由于其优越性能，深度学习技术已广泛应用于组织病理学图像分类。然而，这一成功严重依赖于大量标注数据的可用性，而这需要领域专家进行广泛且昂贵的手动标注。为应对这一挑战，研究人员近期采用生成模型来合成数据以增强数据，从而提升分类模型性能。传统上，这涉及先生成合成数据，再用合成与真实数据训练分类模型，形成了两阶段、耗时的流程。为克服此限制，我们提出了一种创新统一框架，将数据生成和模型训练阶段整合为统一过程。我们的方法利用纯Vision Transformer（ViT）为基础的条件生成对抗网络（cGAN）模型来同时处理图像合成与分类。在cGAN模型中加入额外的分类头，以实现对组织病理学图像的同时分类。为提升训练稳定性并增强生成数据质量，我们引入了条件类投影技术，以在生成过程中保持类间分离。我们还采用动态多损失加权机制来有效平衡分类任务的损失。此外，我们的选择性增强机制主动选择最合适的生成图像用于数据增强，以进一步提升性能。在组织病理学数据集上的大量实验表明，我们的统一合成增强框架持续增强了组织病理学图像分类模型的性能。
引用
@article{arxiv.2212.09977,
title = {Unified Framework for Histopathology Image Augmentation and Classification via Generative Models},
author = {Meng Li and Chaoyi Li and Can Peng and Brian C. Lovell},
journal= {arXiv preprint arXiv:2212.09977},
year = {2024}
}