作为汽车投诉分析知识库的预训练语言模型

近期研究表明，诸如 BERT（Devlin 等人，2018）等大型预训练语言模型能够存储其预训练语料中捕获的常识性事实知识（Petroni 等人，2019）。在我们的工作中，我们进一步针对一项工业应用评估了这一能力，构建了一组专门设计的探针，用于揭示以非结构化客户反馈形式描述的技术质量问题，这些反馈来自汽车工业中的事件记录。在使用填掩码任务对预训练模型的原生版本进行探针测试后，我们通过基于缺陷调查办公室（ODI）投诉数据集的持续预训练动态为其提供更多知识。在我们的实验中，与 Petroni 等人（2019）就事实知识本身进行查询的情况相比，这些模型在领域特定主题的查询上表现出性能。对于大多数所评估的架构，正确词元以高于 60% 的 $Precision@1$（$P@1$）被预测，而 $P@5$ 和 $P@10$ 分别达到了远高于 80% 乃至高达 90% 的数值。这些结果显示了将语言模型用作客户反馈结构化分析知识库的潜力。