利用大型语言模型编码增强建筑语义在AI模型训练中的保持

准确表示建筑语义（包括通用对象类型和特定子类型）对于有效的AI模型训练至关重要，尤其是在建筑、工程、建造和运营（AECO）行业。传统的编码方法（例如one-hot编码）常常无法传达 closely related subtypes 之间的细微关系，限制了AI的语义理解。为了解决这一限制，本研究提出了一种新颖的训练方法，采用大型语言模型（LLM）嵌入（例如OpenAI GPT和Meta LLaMA）作为编码，以保留建筑语义中的细微差异。我们通过在5个高层住宅建筑信息模型（BIMs）中训练GraphSAGE模型来评估所提出的方法，对42种建筑对象子类型进行分类。测试了各种嵌入维度，包括原始高维LLM嵌入（1,536、3,072或4,096）以及通过Matryoshka表示模型压缩到的1,024维嵌入。实验结果表明，LLM编码优于传统的one-hot基线，llama-3（压缩后）嵌入实现的加权平均F1分数为0.8766，而one-hot编码为0.8475。结果强调了利用LLM基于编码来增强AI理解复杂特定领域建筑语义的前景。随着LLM能力和降维技术的不断发展，这一方法在AECO行业的语义细化任务中具有广泛的应用潜力。