基于对比学习的多阶段渐进微调 SNN 与 RL-based 外部优化器的 GAN 提升

Osama Mustafa

基于对比学习的多阶段渐进微调 SNN 与 RL-based 外部优化器的 GAN 提升

图像与视频处理 2024-10-30 v3 人工智能计算机视觉与模式识别机器学习

作者: Osama Mustafa

摘要

生成对抗网络 (GAN) 一直是图像合成的前沿，尤其是在组织病理学等医学领域，帮助解决数据稀缺、患者隐私和类别不平衡等挑战。然而，仍存在若干内在且领域特定的问题。对于 GAN 而言，训练不稳定、模式坍缩以及来自二分类的反馈不足会削弱性能。由于高分辨率组织病理学图像的复杂特征表征和高空间细节，这些挑战尤为突出。针对这些挑战，本工作提出一种新框架，将对比学习基于多阶段渐进微调的双塔神经网络 (MFT-SNN) 与基于强化学习的外部优化器 (RL-EO) 集成。MFT-SNN 改进了组织病理学数据中的特征相似性提取，而 RL-EO 则作为基于奖励的指导机制平衡 GAN 训练，解决模式坍缩并提升输出质量。该方法在多个指标上均优于最先进 (SOTA) 的 GAN 模型。

关键词

生成对抗网络对比学习双塔神经网络强化学习组织病理学

引用

@article{arxiv.2409.20340,
  title  = {Enhancing GANs with Contrastive Learning-Based Multistage Progressive Finetuning SNN and RL-Based External Optimization},
  author = {Osama Mustafa},
  journal= {arXiv preprint arXiv:2409.20340},
  year   = {2024}
}

基于对比学习的多阶段渐进微调 SNN 与 RL-based 外部优化器的 GAN 提升

摘要

关键词

引用

相关论文