基于注意力的神经胞机自动机
计算机视觉与模式识别
2022-11-03 v1 人工智能
机器学习
摘要
胞机自动机(CA)近期的扩展融入了现代深度学习的关键思想,极大拓展了其能力并催生了一类新的神经胞机自动机(NCA)技术。受基于Transformer的架构启发,我们提出了一种由空间局部化——却全局组织化的——自注意力机制构成的新型「基于注意力的NCA」。我们引入该类的一个实例,称为Vision Transformer Cellular Automata(ViTCA)。我们在六个基准数据集上给出了关于去噪自编码的定量与定性结果,将ViTCA与U-Net、基于U-Net的CA基线(UNetCA)以及Vision Transformer(ViT)进行比较。在参数复杂度相近的各类架构比较中,ViTCA架构在所有基准和几乎每一项评估指标上均取得更优性能。我们给出了关于ViTCA不同架构配置的消融研究、其对细胞状态影响的分析以及对其归纳偏置的探究。最后,我们通过对收敛后细胞状态隐藏表示进行线性探测来考察其学到的表示,平均而言相较U-Net、ViT与UNetCA基线取得了更优结果。
引用
@article{arxiv.2211.01233,
title = {Attention-based Neural Cellular Automata},
author = {Mattie Tesfaldet and Derek Nowrouzezahrai and Christopher Pal},
journal= {arXiv preprint arXiv:2211.01233},
year = {2022}
}
备注
NeurIPS 2022