机器语言的出现：迈向具有神经网络的符号智能
计算机视觉与模式识别
2022-01-17 v1 人工智能
摘要
表示是人工智能的核心问题。人类使用离散语言进行交流和相互学习，而机器使用连续特征（如深度神经网络中的向量、矩阵或张量）来表示认知模式。离散符号是低维、解耦的，并具有强大的推理能力，而连续特征是高维、耦合的，并具有令人难以置信的抽象能力。近年来，深度学习将连续表示的理念发展到极致，使用数百万参数来实现高准确率。尽管从统计角度看这是合理的，但它存在其他重大问题，如缺乏可解释性、泛化能力差以及易受攻击。由于两种范式各有优劣，更好的选择是寻求调和。在本文中，我们朝此方向做了初步尝试。具体而言，我们提出通过用神经网络导出离散表示来结合符号主义与连接主义原理。这一过程与人类语言高度相似，人类语言是离散符号与神经系统的自然结合，其中大脑处理连续信号并通过离散语言表征智能。为模拟此功能，我们将我们的方法称为机器语言。通过设计交互环境与任务，我们证明了机器可以通过协作生成一种自发的、灵活的和语义的语言。此外，通过实验我们表明，从可解释性、泛化性和鲁棒性方面来看，离散语言表示相较于连续特征表示具有若干优势。
引用
@article{arxiv.2201.05489,
title = {Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks},
author = {Yuqi Wang and Xu-Yao Zhang and Cheng-Lin Liu and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2201.05489},
year = {2022}
}