如何在神经网络中表示部分-整体层次结构
计算机视觉与模式识别
2021-02-26 v1
摘要
本文并未描述一个可运行的系统。相反，它提出了一个关于表示的单一想法，该想法允许将多个不同小组取得的进展组合成一个称为GLOM的假想系统。这些进展包括transformers、神经场、对比表示学习、蒸馏与胶囊。GLOM回答了如下问题：具有固定架构的神经网络如何将一个图像解析为对每个图像具有不同结构的部分-整体层次结构？该想法 simply 是使用相同向量的孤岛来表示解析树中的节点。如果GLOM能够得以实现，它应当能显著提升类transformer系统应用于视觉或语言时所产生表示的可解释性。
引用
@article{arxiv.2102.12627,
title = {How to represent part-whole hierarchies in a neural network},
author = {Geoffrey Hinton},
journal= {arXiv preprint arXiv:2102.12627},
year = {2021}
}
备注
43 pages, 5 figures