用于眼镜去除与持续 gaze 估计的保注视 CycleGAN
计算机视觉与模式识别
2021-06-17 v6 机器学习
摘要
驾驶员的注视对于确定其注意力、状态、情境感知以及从部分自动化车辆接管控制的准备程度至关重要。在仅能使用非侵入式成像传感器的理想条件下，估计注视方向是评估驾驶员状态最明显的方式。遗憾的是，车载环境带来了通常未被考虑的各种挑战——强烈光照、夜间条件以及反光眼镜。在此类条件下仅依赖头部姿态可能被证明是不可靠且易出错的。在本研究中，我们提供解决现实世界中这些问题的方案。为解决光照问题，我们证明使用红外相机配合适当的均衡与归一化已足够。为处理眼镜及其相应伪影，我们采用生成对抗网络进行图像到图像的翻译，以在注视估计前对图像进行预处理。我们提出的 Gaze Preserving CycleGAN (GPCycleGAN) 经训练可在从人脸图像中去除潜在眼镜的同时保留驾驶员的注视。GPCycleGAN 基于知名的 CycleGAN 方法——增加了注视分类器与注视一致性损失以提供额外监督。我们的方法在具有挑战性的真实世界数据集上展现出改进的性能、可解释性、鲁棒性与更优的定性结果。
引用
@article{arxiv.2002.02077,
title = {Gaze Preserving CycleGANs for Eyeglass Removal & Persistent Gaze Estimation},
author = {Akshay Rangesh and Bowen Zhang and Mohan M. Trivedi},
journal= {arXiv preprint arXiv:2002.02077},
year = {2021}
}