博士论文：探索（自）注意力在认知与计算机视觉架构中的作用

Mohit Vaishnav

博士论文：探索（自）注意力在认知与计算机视觉架构中的作用

人工智能 2023-06-29 v2 计算机视觉与模式识别机器学习符号计算

作者: Mohit Vaishnav

摘要

我们研究了注意力与记忆在复杂推理任务中的作用。我们将基于 Transformer 的自注意力作为一种模型进行分析，并通过记忆对其加以扩展。通过研究一个合成视觉推理测试，我们细化了推理任务的分类体系。将自注意力与 ResNet50 相结合，我们利用基于特征与空间的注意力增强特征图，从而高效求解具有挑战性的视觉推理任务。我们的发现有助于理解 SVRT 任务的注意力需求。此外，我们提出了 GAMR，一种受主动视觉理论启发的、结合注意力与记忆的认知架构。GAMR 在样本效率、鲁棒性与组合性上优于其他架构，并展现出对新推理任务的零样本泛化能力。

关键词

自注意力 Transformer 视觉推理认知架构记忆 ResNet50 GAMR 零样本泛化

引用

@article{arxiv.2306.14650,
  title  = {PhD Thesis: Exploring the role of (self-)attention in cognitive and computer vision architecture},
  author = {Mohit Vaishnav},
  journal= {arXiv preprint arXiv:2306.14650},
  year   = {2023}
}

备注

PhD Thesis, 152 pages, 32 figures, 6 tables

博士论文：探索（自）注意力在认知与计算机视觉架构中的作用

摘要

关键词

引用

备注

相关论文