学习一个视觉接地记忆助手
计算机视觉与模式识别
2022-10-11 v1 人机交互
摘要
我们引入了一种用于大规模收集人类记忆与辅助数据的新颖接口。利用 3D Matterport 模拟器，我们创建了逼真的室内环境，在其中让人们执行模仿家庭日常活动的特定具身记忆任务。该接口随后部署于 Amazon Mechanical Turk，使我们能够以先前不可能的大规模测试和记录人类记忆、导航以及对辅助的需求。利用该接口，我们收集了“视觉接地记忆助手数据集”，旨在增进我们对以下方面的理解：(1) 人们在 3D 环境导航过程中编码的信息，以及 (2) 人们请求记忆辅助的条件。此外，我们使用在人工选取的视觉与语义特征上训练的模型实验预测人们何时会请求辅助。这通过人类感知、记忆与认知的习得模型，提供了在机器学习与认知科学社群间建立更紧密联系的机会。
引用
@article{arxiv.2210.03787,
title = {Learning a Visually Grounded Memory Assistant},
author = {Meera Hahn and Kevin Carlberg and Ruta Desai and James Hillis},
journal= {arXiv preprint arXiv:2210.03787},
year = {2022}
}