Brainish：形式化一种用于智能与意识的多模态语言

拥有丰富的多模态内在语言是人类智能的重要组成部分，其实现了多模态预测、翻译与生成等多项必要核心认知功能。基于Blum和Blum（2021）提出的意识机器模型——意识图灵机（CTM），我们描述了一种称为Brainish的多模态语言的需求，该语言由单词、图像、音频与感觉组合而成，作为CTM处理器彼此通信的表示。我们在通过多模态人工智能（一个研究处理与关联异质信号信息所需计算工具的活跃研究领域）的视角将这一语言操作化之前，定义了Brainish的语法与语义。我们学习Brainish的总体框架包括设计（1）单模态编码器以分割并表示单模态数据，（2）协调表示空间以关联并组合单模态特征从而跨多模态输入推导整体意义，以及（3）解码器以将多模态表示映射为预测（用于融合）或原始数据（用于翻译或生成）。通过讨论Brainish对于CTM中实现意识所需的通信与协调至关重要，并通过实现简易版Brainish并在多个真实世界图像、文本与音频数据集上评估其在多模态预测与检索任务中展现智能的能力，我们认为此类内在语言对于机器智能与意识模型的进展十分重要。