HybridGazeNet：几何模型引导的卷积神经网络视线估计方法
计算机视觉与模式识别
2021-11-24 v1 人机交互
摘要
作为理解人类意图的关键线索，人类视线为人机交互(HCI)应用提供了重要信号。基于表观的视线估计直接从眼睛图像回归视线向量，近年来基于卷积神经网络(ConvNets)架构和开源大规模视线数据集取得了巨大进展。然而，将基于模型的知识编码进 CNN 模型以进一步提升视线估计性能仍是一个有待探索的课题。本文中，我们提出 HybridGazeNet(HGN)，一种将几何眼球模型显式编码进基于表观的 CNN 架构的统一框架。HybridGazeNet 由多分支网络与不确定性模块组成，采用混合策略训练。在多个具有挑战性的视线数据集上的实验表明，与现有 SOTA 方法相比，HybridGazeNet 具有更好的精度与泛化能力。代码将于稍后发布。
引用
@article{arxiv.2111.11691,
title = {HybridGazeNet: Geometric model guided Convolutional Neural Networks for gaze estimation},
author = {Shaobo Guo and Xiao Jiang and Zhizhong Su and Rui Wu and Xin Wang},
journal= {arXiv preprint arXiv:2111.11691},
year = {2021}
}
备注
10 pages