MemX：面向个性化时刻自动捕获的注意力感知智能眼镜系统
计算机视觉与模式识别
2021-10-12 v4 人机交互
摘要
本工作提出 MemX：一种受生物启发、以注意力感知为目标的眼镜系统，旨在追求期盼已久的个性化视觉 Memex 愿景。MemX 实时捕获人类视觉注意力，分析显著视觉内容，并以紧凑视频片段形式记录个人感兴趣的时刻。在资源受限平台上的精确注意力场景检测与分析具挑战性，因为这些任务计算与能耗密集。我们提出一种新的时序视觉注意力网络，统一人类视觉注意力追踪与显著视觉内容分析。注意力追踪将计算密集的视频分析聚焦于显著区域，而视频分析使人类注意力检测与追踪更为准确。利用 YouTube-VIS 数据集与 30 名参与者，我们通过实验表明 MemX 相较仅眼动追踪方法显著提升了注意力追踪精度，同时保持高系统能效。我们还开展了 11 项跨多种日常使用场景的现场试点研究，证明了 MemX 的可行性与潜在益处。
引用
@article{arxiv.2105.00916,
title = {MemX: An Attention-Aware Smart Eyewear System for Personalized Moment Auto-capture},
author = {Yuhu Chang and Yingying Zhao and Mingzhi Dong and Yujiang Wang and Yutian Lu and Qin Lv and Robert P. Dick and Tun Lu and Ning Gu and Li Shang},
journal= {arXiv preprint arXiv:2105.00916},
year = {2021}
}
备注
Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT)