中文

揭示人类推理研究中的数据相关局限:基于推荐系统的分析

人工智能 2020-03-12 v1

摘要

理解人类推理的基本规律,对于任何旨在与人类紧密交互的系统的开发都至关重要。认知科学从理论驱动的视角追求对人类智能的建模,并强烈关注可解释性。作为人类推理研究核心领域之一的 syllogistic reasoning(三段论推理),在过去几年中涌现了大量计算模型。然而,近期对模型预测性能的分析显示其改进陷入停滞。我们认为,认知科学中遇到的大多数问题并非源于已开发的具体模型,而是可追溯到行为数据的特殊性。因此,我们通过比较模型在人类与人工生成数据集上的表现,调查人类推理研究中问题的潜在数据相关原因。特别地,我们应用协同过滤推荐器来研究数据中不一致性与噪声的对抗效应,并阐明在一个主要关注获取领域高层理论洞见的研究领域中,数据驱动方法的潜力。我们的工作(i)提供了对推理数据中人类响应所预期噪声水平的洞见,(ii)揭示了接近已达成的性能上界的证据,敦促对建模任务进行扩展,以及(iii)引入了相关工具并给出初步结果,以开创一种聚焦于预测个体人类推理者响应的推理研究与建模新范式。

关键词

引用

@article{arxiv.2003.05196,
  title  = {Uncovering the Data-Related Limits of Human Reasoning Research: An Analysis based on Recommender Systems},
  author = {Nicolas Riesterer and Daniel Brand and Marco Ragni},
  journal= {arXiv preprint arXiv:2003.05196},
  year   = {2020}
}

备注

6 pages, 5 figures