利用 Segment Anything Model (SAM) 实现眼部特征的零样本分割
计算机视觉与模式识别
2024-04-09 v2 人工智能
人机交互
摘要
基础模型的出现标志着人工智能的新时代。Segment Anything Model（SAM）是首个用于图像分割的基础模型。在本研究中，我们评估了 SAM 从虚拟现实装置中记录的眼图分割特征的能力。对标注眼图数据集日益增长的需求为 SAM 重新定义注视估计中的数据标注格局提供了重要机遇。我们的研究集中于 SAM 的零样本学习能力以及边界框或点点击等提示的有效性。我们的结果与其他领域的研究一致，表明 SAM 的分割效果可取决于特征而与专用模型相当，且提示提升了其性能，在一个数据集中瞳孔分割的 IoU 达到 93.34% 即为证。像 SAM 这样的基础模型可通过实现快速简便的图像分割、减少对专用模型和大量人工标注的依赖，从而彻底变革注视估计。
引用
@article{arxiv.2311.08077,
title = {Zero-Shot Segmentation of Eye Features Using the Segment Anything Model (SAM)},
author = {Virmarie Maquiling and Sean Anthony Byrne and Diederick C. Niehorster and Marcus Nyström and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2311.08077},
year = {2024}
}
备注
14 pages, 8 figures, 1 table, Accepted to ETRA 2024: ACM Symposium on Eye Tracking Research & Applications