16个神经元上路：基于生物启发深度神经网络的视觉意象

本文提出了一种面向自动驾驶场景的视觉预测策略。人类在未分心或醉酒时，仍是目前能找到的最好的驾驶员。为此，我们从关于人类心智及其神经组织的两个理论观点中汲取灵感。第一个观点涉及大脑如何利用神经元集合的层级结构从视觉经验中提取抽象概念并将其编码为紧凑表示。第二个观点指出，这些神经感知表示并非中立的，而是有助于对环境未来状态的预测。类似地，预测机制也非中立，而是面向未来行动的当前规划。我们在深度学习框架中辨识出上述神经认知理论的两个人工对应物。我们发现第一个理论观点与卷积自编码器的架构相对应，而将第二个理论转化为一种训练过程，该过程从两个不同视角学习非中立而是面向驾驶任务的紧凑表示。从静态视角，我们强制紧凑表示中的神经单元组分别表征对驾驶任务至关重要的特定概念。从动态视角，我们鼓励紧凑表示能够预测当前道路场景未来的变化。我们成功学习了仅使用极少至每类两个基本驾驶概念（车辆与车道）各 16 个神经单元即可表征的紧凑表示。我们在 SYNTHIA 数据集上证明了我们所提出的感知表示的效率。我们的源代码可在 https://github.com/3lis/rnn_vae 获取。