面向故障分析的电信知识预训练
人工智能
2023-02-20 v2
摘要
在本工作中，我们分享了关于面向故障分析的电信知识预训练的经验，这是电信应用中的一项关键任务，需要通常存在于机器日志数据与产品文档中的广泛知识。为统一组织专家的这一知识，我们提出构建 Tele-KG（电信知识图谱）。利用这一宝贵数据，我们进一步提出电信领域语言预训练模型 TeleBERT 及其知识增强版本、电信知识重训练模型 KTeleBERT，其包含有效的提示线索、自适应数值数据编码以及两种知识注入范式。具体而言，我们的方案包括两个阶段：首先在 2000 万电信相关语料上预训练 TeleBERT，随后在 100 万因果与机器相关语料上重训练以得到 KTeleBERT。我们在电信应用中故障分析相关的多项任务（包括根因分析、事件关联预测与故障链追踪）上的评估表明，用电信领域数据预训练语言模型有益于下游任务。此外，KTeleBERT 重训练进一步提升了任务模型性能，凸显了将多样电信知识融入模型的有效性。
引用
@article{arxiv.2210.11298,
title = {Tele-Knowledge Pre-training for Fault Analysis},
author = {Zhuo Chen and Wen Zhang and Yufeng Huang and Mingyang Chen and Yuxia Geng and Hongtao Yu and Zhen Bi and Yichi Zhang and Zhen Yao and Wenting Song and Xinliang Wu and Yi Yang and Mingyi Chen and Zhaoyang Lian and Yingying Li and Lei Cheng and Huajun Chen},
journal= {arXiv preprint arXiv:2210.11298},
year = {2023}
}
备注
ICDE 2023 https://github.com/hackerchenzhuo/KTeleBERT