DiffGaze：一种用于 360° 图像上连续注视序列生成的扩散模型
计算机视觉与模式识别
2024-03-27 v1 人机交互
摘要
我们提出 DiffGaze，一种基于条件评分去噪扩散模型在 360° 图像上生成逼真且多样化的连续人类注视序列的新方法。在 360° 图像上生成人类注视对于各种人机交互和计算机图形学应用至关重要，例如用于创建大规模眼动追踪数据集或虚拟人的逼真动画。然而，现有方法仅限于预测离散的注视点序列或聚合的显著性图，从而忽略了自然注视行为的关键部分。我们的方法使用从 360° 图像中提取的特征作为条件，并利用两个 transformer 分别对连续人类注视的时间依赖性和空间依赖性进行建模。我们在两个 360° 图像基准上对 DiffGaze 进行了注视序列生成、扫描路径预测和显著性预测的评估。评估结果表明，DiffGaze 在两个基准的所有任务上均优于现有最优方法。我们还报告了一项有 21 名参与者参与的用户研究，结果表明我们的方法生成的注视序列与真实人类序列难以区分。
引用
@article{arxiv.2403.17477,
title = {DiffGaze: A Diffusion Model for Continuous Gaze Sequence Generation on 360{\deg} Images},
author = {Chuhan Jiao and Yao Wang and Guanhua Zhang and Mihai Bâce and Zhiming Hu and Andreas Bulling},
journal= {arXiv preprint arXiv:2403.17477},
year = {2024}
}