作为认知状态的嵌入：池化算子用于累积知识的局限性
人工智能
2023-07-04 v2 机器学习
摘要
各种神经网络架构依赖池化算子来聚合来自不同来源的信息。在此类情境中常隐含地假设向量编码认知状态，即向量捕获了关于某些感兴趣属性已获得的证据，且对这些向量进行池化会得到结合该证据的向量。我们针对若干标准池化算子，研究它们在何种条件下与这一被称为认知池化原则的思想相容。虽然我们发现所有被考虑的池化算子都能满足认知池化原则，但这仅当嵌入具有足够高维度时成立，且对大多数池化算子而言，还要求嵌入满足特定约束（例如具有非负坐标）。我们进一步表明这些约束对嵌入的实际使用有重要影响。特别地，我们发现当认知池化原则满足时，在大多数情况下无法使用线性打分函数验证命题公式的满足性，仅有两例例外：（i）具有上界嵌入的max-pooling，以及（ii）具有非负嵌入的Hadamard池化。该发现有助于澄清，除其他外，图神经网络在推理任务中有时表现不佳的原因。最后，我们还研究了认知池化原则向加权认知状态的扩展，后者在非单调推理语境中十分重要，其中max-pooling显现为最合适的算子。
引用
@article{arxiv.2210.05723,
title = {Embeddings as Epistemic States: Limitations on the Use of Pooling Operators for Accumulating Knowledge},
author = {Steven Schockaert},
journal= {arXiv preprint arXiv:2210.05723},
year = {2023}
}