基于深度神经网络的视线接触校正
计算机视觉与模式识别
2019-12-30 v2 多媒体
摘要
在典型的视频会议设置中，由于需要看向摄像头而非显示器，很难在通话期间保持视线接触。我们提出了一种视线接触校正模型，无论摄像头与显示器的相对位置如何，都能恢复视线接触。与之前的方案不同，我们的模型将视线从任意方向重定向至中心，无需以重定向角度或摄像头/显示器/用户几何关系作为输入。我们使用一个深度卷积神经网络，输入单目图像并生成向量场和亮度图以校正视线。我们在大量合成生成的具有完美标签的照片级真实感图像上以双向方式训练该模型。所学模型是一个鲁棒的视线接触校正器，还能以零额外代价隐式预测输入视线。我们的系统主要用于提升视频会议体验的质量。因此，我们使用一组控制机制来防止诡异结果，并确保流畅自然的视频会议体验。整个视线接触校正系统在点缀式CPU上以端到端实时运行，且不需要任何专用硬件，使我们的解决方案可用于多种设备。
引用
@article{arxiv.1906.05378,
title = {Eye Contact Correction using Deep Neural Networks},
author = {Leo F. Isikdogan and Timo Gerasimow and Gilad Michael},
journal= {arXiv preprint arXiv:1906.05378},
year = {2019}
}