结构与解构：知识引擎的双重力量

在自然语言处理中，知识引擎的形成受到了两种看似不同范式的塑造：一种基于结构，另一种基于大规模无结构数据。结构范式利用预定义的符号交互（如知识图谱）作为先验，并设计模型来捕获它们。相比之下，无结构范式侧重于扩大变压器架构的规模，利用日益增长的数据和模型规模，如现代大型语言模型。尽管二者存在差异，但本论文旨在建立连接这两种范式的概念性桥梁。两种互补力量——结构与解构——在两种范式中都出现：结构组织已看到的符号交互，而通过定期嵌入重置，解构提高了模型的塑性和对未见情景的泛化能力。这些联系构成了 developing general knowledge engines 的新配方，这些引擎可以支持透明、可控且可适应的智能系统。