用于快速高效神经问答的双曲表示学习

问答检索中的主导神经架构基于配置了复杂词匹配层的循环或卷积编码器。鉴于最近的架构创新大多是新的词交互层或基于注意力的匹配机制，这些组件对于良好性能似乎是不可或缺的事实已确立。不幸的是，这些复杂机制带来的内存和计算成本对于实际应用而言是不可取的。因此，本文探讨了是否可能通过简单的神经架构实现具有竞争力的性能。我们提出了一种简单而新颖的深度学习架构，用于快速高效的问题 - 答案排序和检索。具体而言，我们提出的模型 \textsc{HyperQA} 是一个参数高效的神经网络，在多个问答基准测试中优于其他参数密集型模型，如注意力池化 BiLSTMs 和多视角 CNNs。\textsc{HyperQA} 的新颖之处在于其成对排序目标，该目标在双曲空间而非欧几里得空间中对问题和答案嵌入之间的关系进行建模。这赋予了我们的模型自组织能力，并能在学习问题和答案嵌入时自动发现潜在层次结构。我们的模型无需特征工程、无需相似矩阵匹配、无需复杂的注意力机制或过参数化层，却在多个基准测试中表现优异，并与具备这些功能的许多模型保持竞争力。