一种用于序列中向量路由的算法

我们提出了一种路由算法，该算法接收向量序列并计算出具有指定长度和向量大小的新序列。每个输出向量通过更好地预测输入向量，最大化“每比特收益”（bang per bit），即使用数据的净收益与忽略数据的净成本之差。我们将输出向量描述为几何对象、分配信用的潜变量、联想记忆模型中的查询状态，以及心智社会（Society of Mind）模型中的智能体。我们通过优化实现了该算法，将参数量、计算量和内存使用降低了数个数量级，使我们能够处理比以往更长的序列。我们在自然语言与视觉分类任务上评估了我们的实现，获得了具有竞争力或最先进的准确率，以及可解释的端到端信用分配。