神经网络中的无歧义表征：意向性的信息论方法

表征无处不在，从代表声音的字母到编码数字文件的比特串。虽然此类表征需要外部定义的解码器来传递意义，但意识体验似乎根本不同：与感知红色方块相对应的神经状态不能编码绿色方块的体验。意识的这种内在属性表明，意识表征必须以传统表征所不具备的方式做到无歧义。我们使用信息论形式化这一直觉，将表征歧义定义为给定表征 R 的可能解释 I 的条件熵 H(I|R)。通过在训练用于分类 MNIST 数字的神经网络上的实验，我们证明网络连接中的关系结构可以无歧义地编码表征内容。使用已学习的解码器和直接的几何匹配，我们在 dropout 训练网络中实现了 100% 的完美准确率，在标准反向传播中为 38%，用于识别输出神经元的类别身份，尽管任务性能相同，这表明表征歧义可能与行为准确性正交地产生。我们进一步证明，输入神经元的空间位置信息可以从网络连接中以 R² 高达 0.844 的程度解码。这些结果提供了一种量化神经系统中表征歧义的定量方法，并证明神经网络可以展现理论意识论述所假设为必要（尽管不充分）的低歧义表征。