用于野外眼睛分割的形状约束网络
计算机视觉与模式识别
2019-10-14 v1
摘要
眼睛的语义分割长期以来是许多生物识别应用中的重要预处理步骤。大多数工作仅关注高分辨率眼睛图像，而从野外低质量图像中分割眼睛的研究很少。然而，这是一个特别有趣且有意义的课题，因为眼睛在传达人的情绪状态和心理福祉方面起着关键作用。本工作中，我们向解决该问题迈出两步：（1）我们收集并标注了一个具有挑战性的眼睛分割数据集，包含来自 4461 张不同分辨率、光照条件和头部姿态人脸图像的 8882 个眼睛块；（2）我们提出了一种新颖的眼睛分割方法——形状约束网络（SCN），将形状先验融入分割网络训练过程。具体而言，我们用 VAE-GAN 从数据集中学习形状先验，并利用预训练编码器和判别器来正则化 SegNet 的训练。为提高预测掩码的准确性与质量，我们将 SegNet 的损失替换为三个新损失：交并比（IoU）损失、形状判别器损失和形状嵌入损失。大量实验表明，我们的方法在平均 IoU（mIoU）精度和分割掩码质量方面优于最先进的分割与关键点检测方法。眼睛分割数据库可从 https://www.dropbox.com/s/yvveouvxsvti08x/Eye_Segmentation_Database.zip?dl=0 获取。
引用
@article{arxiv.1910.05283,
title = {Shape Constrained Network for Eye Segmentation in the Wild},
author = {Bingnan Luo and Jie Shen and Shiyang Cheng and Yujiang Wang and Maja Pantic},
journal= {arXiv preprint arXiv:1910.05283},
year = {2019}
}
备注
IEEE Winter Conference on Applications of Computer Vision (WACV 2020)