嵌入中包含什么？不同嵌入会不会让玫瑰散发相同的香味？

大语言模型（LLMs）常被批评缺乏对“理解”和“推理”能力的真正把握，被视为仅仅是自动完成系统。我们认为，这种评估可能是忽略了细致的洞见。我们认为LLMs确实发展出一种类似于“几何”的经验性“理解”，这种理解对NLP、计算机视觉、编码帮助等一系列应用来说已经足够。然而，这种“几何”理解是从不完整且噪声数据中构建的，使其不可靠、难以泛化，缺乏推理能力和解释能力，类似于数十年前基于启发式方法的专家系统所面临的挑战。为克服这些限制，我们建议将LLMs与一种包含专家系统中所使用的符号AI元素的“代数”知识表示集成。这种集成旨在创建大规模知识模型（LKMs），不仅拥有建立在首要原则之上的“深入”知识，还具备推理和解释能力，模仿人类专家能力。为安全有效地发挥生成AI的全部潜力，需要从LLM转向更为全面的LKM进行范式转变。