基于半可解释卷积神经网络从眼动预测相关性
人机交互
2020-01-16 v1 计算机视觉与模式识别
信息检索
摘要
我们提出一种图像分类方法，从眼动预测文本文档的感知相关性。进行了一项眼动追踪研究，参与者阅读短篇新闻文章，并将其评为相关或不相关以回答触发问题。我们将参与者的眼动扫描路径编码为图像，然后使用这些扫描路径图像训练卷积神经网络分类器。训练后的分类器用于从相应扫描路径图像预测参与者对新闻文章的感知相关性。该方法是内容无关的，因为分类器不需要屏幕内容或用户信息任务的知识。即使数据很少，该图像分类器也能以高达 80% 的准确率预测感知相关性。与文献中类似的眼动追踪研究相比，这种扫描路径图像分类方法以可观的幅度优于先前报告的指标。我们也尝试解释图像分类器如何区分相关与无关文档上的扫描路径。
引用
@article{arxiv.2001.05152,
title = {Relevance Prediction from Eye-movements Using Semi-interpretable Convolutional Neural Networks},
author = {Nilavra Bhattacharya and Somnath Rakshit and Jacek Gwizdka and Paul Kogut},
journal= {arXiv preprint arXiv:2001.05152},
year = {2020}
}