从认知到计算：人类注意力与Transformer架构的比较综述
其他定量生物学
2024-07-03 v1 人工智能
机器学习
摘要
注意力是人类认知的基石，促进日常生活中信息的高效提取。最近的人工智能发展，如Transformer架构，也在模型设计中包含注意力概念。尽管两者在选择性注意信息方面遵循相同的基本原理，但人类注意力与Transformer模型在容量限制、注意力路径和意图机制方面存在显著差异。我们的综述旨在从认知功能角度提供这些机制的比较分析，从而阐明几个开放性研究问题。该探索鼓励跨学科努力，从人类注意力机制中汲取洞见，以追求更通用的人工智能发展。
引用
@article{arxiv.2407.01548,
title = {From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures},
author = {Minglu Zhao and Dehong Xu and Tao Gao},
journal= {arXiv preprint arXiv:2407.01548},
year = {2024}
}