一种基于 ViT-Patch GAN 的鲁棒染色体拉直框架
计算机视觉与模式识别
2023-05-17 v2 人工智能
摘要
染色体承载着人类的遗传信息。它们呈现出非刚性、非关节化的特性，并具有不同程度的弯曲。染色体拉直是后续核型构建、病理诊断和细胞遗传学图谱绘制的重要步骤。然而，由于训练图像匮乏、拉直后染色体细节与形状失真以及泛化能力较差，鲁棒的染色体拉直仍然具有挑战性。本文提出一种新颖的架构 ViT-Patch GAN，由自学习的运动变换生成器和基于 Vision Transformer 的块（ViT-Patch）判别器组成。生成器学习染色体的运动表示以实现拉直。在 ViT-Patch 判别器的辅助下，拉直后的染色体保留了更多的形状与带纹模式细节。实验结果表明，所提方法在 Fréchet Inception Distance (FID)、Learned Perceptual Image Patch Similarity (LPIPS) 以及下游染色体分类准确率上取得了更优性能，并在大规模数据集上展现出优异的泛化能力。
引用
@article{arxiv.2203.02901,
title = {A Robust Framework of Chromosome Straightening with ViT-Patch GAN},
author = {Sifan Song and Jinfeng Wang and Fengrui Cheng and Qirui Cao and Yihan Zuo and Yongteng Lei and Ruomai Yang and Chunxiao Yang and Frans Coenen and Jia Meng and Kang Dang and Jionglong Su},
journal= {arXiv preprint arXiv:2203.02901},
year = {2023}
}
备注
Camera-ready version for IEEE ISBI2023