中文

多模态表征中的心理采样

机器学习 2017-10-17 v1 人工智能

摘要

自然环境中的资源和语义空间中的概念均呈“斑块状”分布,斑块之间存在较大的间隙。为了描述人的内部与外部觅食行为,人们提出了各种随机游走模型。特别地,内部觅食被建模为采样:为了收集用于决策的相关信息,人们使用诸如马尔可夫链蒙特卡洛(MCMC)等随机游走算法从心理表征中抽取样本。然而,两个常见的经验观察反驳了诸如 MCMC 这样的简单采样算法。首先,空间结构通常最好用 Lévy flight 分布来描述:两个连续位置之间距离的概率在距离上遵循幂律。其次,人类和其他动物产生的采样的时间结构具有长程、缓慢衰减的序列相关性,表现为 1/f1/f 型涨落。我们提出,心理采样并非由简单的 MCMC 完成,而是适应于多模态表征,并由 Metropolis-coupled Markov chain Monte Carlo (MC3^3) 实现,这是最早为从多模态分布中采样而开发的算法之一。MC3^3 并行运行多个马尔可夫链,但目标分布具有不同的温度,并在找到更好位置时交换链的状态。加热链更容易穿越概率景观中的山谷以提出向远处山峰的移动,而冷却链则进行探索当前山峰或斑块的局部步骤。我们证明,MC3^3 生成的连续样本之间的距离遵循 Lévy flight 分布和 1/f1/f 型序列相关性,为这两个令人困惑的经验现象提供了单一的机制解释。

关键词

引用

@article{arxiv.1710.05219,
  title  = {Mental Sampling in Multimodal Representations},
  author = {Jian-Qiao Zhu and Adam N. Sanborn and Nick Chater},
  journal= {arXiv preprint arXiv:1710.05219},
  year   = {2017}
}