Neural Photofit：基于注视的心理意象重建
计算机视觉与模式识别
2021-08-18 v1 人工智能
人机交互
摘要
我们提出一种新方法，利用人类注视点将人脑海中的图像视觉解码为photofit（人脸合成图）。我们的方法结合三个神经网络：编码器、评分网络和解码器。编码器提取图像特征，并为人类观察者所看的每张人脸预测神经激活图。神经评分网络比较人类与神经注意力，并为每个提取的图像特征预测相关性分数。最后，图像特征按相关性加权作为所有特征的线性组合聚合成单一特征向量，由解码器解码为最终photofit。我们在包含19名参与者观看合成人脸拼贴画注视数据的新数据集上训练神经评分网络。我们展示该方法显著优于均值基线预测器，并报告一项人类研究表明我们可以解码出视觉上合理且接近观察者心理意象的photofit。
引用
@article{arxiv.2108.07524,
title = {Neural Photofit: Gaze-based Mental Image Reconstruction},
author = {Florian Strohm and Ekta Sood and Sven Mayer and Philipp Müller and Mihai Bâce and Andreas Bulling},
journal= {arXiv preprint arXiv:2108.07524},
year = {2021}
}