无约束场景下眼镜的无人监督去除
计算机视觉与模式识别
2020-05-18 v4
摘要
眼镜去除在去除不同类型眼镜（如无框眼镜、全框眼镜和太阳镜）并恢复合适的眼睛方面具有挑战性。由于较大的视觉差异，传统方法缺乏可扩展性。大多数现有工作关注受控环境（如实验室）中的正面人脸图像，并且需要为不同眼镜类型设计特定系统。为应对该局限，我们提出了一种称为眼镜去除生成对抗网络（ERGAN）的统一眼镜去除模型，其可处理无约束场景下的不同类型眼镜。所提方法不依赖于眼镜位置的密集标注，而是受益于具有弱标注的大规模人脸图像。具体而言，我们同时研究两个相关任务，即去除和佩戴眼镜。给定两幅带与不带眼镜的人脸图像，所提模型学习交换两幅人脸中的眼部区域。生成机制聚焦于眼部区域，并降低了生成新人脸的难度。在实验中，我们展示了所提方法在真实感与多样性方面取得了有竞争力的去除质量。此外，我们在若干后续任务（如人脸验证和面部表情识别）上评估了 ERGAN。实验表明，我们的方法可作为这些任务的预处理方法。
引用
@article{arxiv.1909.06989,
title = {Unsupervised Eyeglasses Removal in the Wild},
author = {Bingwen Hu and Zhedong Zheng and Ping Liu and Wankou Yang and Mingwu Ren},
journal= {arXiv preprint arXiv:1909.06989},
year = {2020}
}