嵌入Transformer的生成式虹膜先验模型
图像与视频处理
2024-09-24 v2 计算机视觉与模式识别
摘要
从复杂退化的虹膜图像中进行虹膜修复，以提高虹膜识别性能是一个具有挑战性的问题。由于退化程度复杂，直接训练卷积神经网络（CNN）而不使用先验信息将无法获得令人满意的结果。本文提出了一种嵌入生成式虹膜先验的Transformer模型（Gformer），其中我们构建了一个采用Transformer模块和生成式虹膜先验的层次化编码器-解码器网络。首先，我们约束Transformer模块以建模目标图像中的长程依赖。其次，我们预训练一个虹膜生成对抗网络（GAN），并通过我们的虹膜特征调制器将其纳入虹膜修复过程中。我们的实验表明，提出的Gformer优于现有的最先进方法。此外，应用Gformer后，虹膜识别性能得到了显著提升。
关键词
引用
@article{arxiv.2407.00261,
title = {Generative Iris Prior Embedded Transformer for Iris Restoration},
author = {Yubo Huang and Jia Wang and Peipei Li and Liuyu Xiang and Peigang Li and Zhaofeng He},
journal= {arXiv preprint arXiv:2407.00261},
year = {2024}
}
备注
Our code is available at https://github.com/sawyercharlton/Generative-Iris-Prior-Embedded-Transformer-for-Iris-Restoration