视觉体验数据集:200+ 小时整合眼动、里程计和佩戴式视频记录
计算机视觉与模式识别
2024-08-14 v2 人机交互
摘要
我们介绍了视觉体验数据集(VEDB),该数据集汇集了超过 240 小时的佩戴式视频,结合了注视动作和头部追踪数据,提供了对人类观察者所经历视觉世界的前所未有的视角。该数据集包含 717 个会话,由 58 名年龄在 6 岁至 49 岁之间的观察者记录。本文概述了数据收集、处理和标注协议,以确保样本代表性,并讨论了数据集中可能的误差或偏差来源。VEDB 的潜在应用广泛,包括改进注视动作追踪方法、评估时空图像统计以及细化用于场景和活动识别的深度神经网络。VEDB 通过 established 的开放科学平台公开,旨在成为一个活数据集,计划进行扩展和社区贡献。数据集的发布强调了伦理考虑,包括参与者隐私和潜在偏差的缓解。通过提供以真实世界经验为基础的数据,并伴随大量元数据和支持代码,作者邀请研究社区利用和贡献 VEDB,以更深入地理解在自然环境中的视觉感知和行为。
引用
@article{arxiv.2404.18934,
title = {The Visual Experience Dataset: Over 200 Recorded Hours of Integrated Eye Movement, Odometry, and Egocentric Video},
author = {Michelle R. Greene and Benjamin J. Balas and Mark D. Lescroart and Paul R. MacNeilage and Jennifer A. Hart and Kamran Binaee and Peter A. Hausamann and Ronald Mezile and Bharath Shankar and Christian B. Sinnott and Kaylie Capurro and Savannah Halow and Hunter Howe and Mariam Josyula and Annie Li and Abraham Mieses and Amina Mohamed and Ilya Nudnou and Ezra Parkhill and Peter Riley and Brett Schmidt and Matthew W. Shinkle and Wentao Si and Brian Szekely and Joaquin M. Torres and Eliana Weissmann},
journal= {arXiv preprint arXiv:2404.18934},
year = {2024}
}
备注
40 pages, 1 table, 9 figures