基于图嵌入的对比学习用于工艺行业语言模型领域适应
计算与语言
2025-10-08 v2 信息检索
摘要
近期的自然语言处理趋势利用知识图谱（KGs）来增强预训练语言模型，通过融合图结构中的额外知识来学习特定领域的术语或文档之间可能被忽视的关系。本文探讨了 SciNCL——一种最初为科学出版物设计的图感知邻域对比学习方法——如何应用于工艺行业领域，在该领域中，文本日志包含关于日常操作的关键信息，常以稀疏 KGs 形式出现。我们的实验表明，使用从图嵌入（GE）派生的三元组微调的语言模型，在专有的工艺行业文本嵌入基准（PITEB）上比最先进的 mE5-large 文本编码器提高了 9.8-14.3%（5.45-7.96p），且参数数量仅为其三分之一。
引用
@article{arxiv.2510.04631,
title = {Contrastive Learning Using Graph Embeddings for Domain Adaptation of Language Models in the Process Industry},
author = {Anastasia Zhukova and Jonas Lührs and Christian E. Lobmüller and Bela Gipp},
journal= {arXiv preprint arXiv:2510.04631},
year = {2025}
}
备注
accepted to EMNLP 2025 (industry track)