面向眼动跟踪的无监督眼区分割
计算机视觉与模式识别
2024-10-10 v1
摘要
寻找眼睛并解析其各部分（如瞳孔和虹膜）是基于图像的眼动跟踪的关键前提，而在当今头戴式 VR/AR 设备中已成为必不可少的模块。然而，典型的训练分割器需要繁琐的人工标注。在本 work 中，我们探索了无监督方法。首先，我们利用人类眼睛的先验知识从图像中提取信号，以建立指示眼区结构的粗略线索。基于这些稀疏且噪声较大的线索，在分割网络上进行训练，以逐步识别每一部分的精确区域。为实现对眼区的精确解析，我们首先利用预训练的基础模型 Segment Anything (SAM) 以自动方式细化眼部指示。随后，学习过程以渐进式和先验感知原则进行端到端设计。实验表明，我们的无监督方法可轻松实现受监督学习性能的 90%（瞳孔和虹膜）和 85%（整个眼区）。
关键词
引用
@article{arxiv.2410.06131,
title = {Towards Unsupervised Eye-Region Segmentation for Eye Tracking},
author = {Jiangfan Deng and Zhuang Jia and Zhaoxue Wang and Xiang Long and Daniel K. Du},
journal= {arXiv preprint arXiv:2410.06131},
year = {2024}
}
备注
ECCV2024 ICVSE workshop