面向银行业的词嵌入

自然语言处理（NLP）的应用十分丰富，从情感分析到文本分类不一而足。从业者依赖静态词嵌入（如 Word2Vec 或 GloVe）或来自上下文模型的静态词表示（如 BERT 或 ELMo）来执行诸多此类 NLP 任务。这些广泛可用的词嵌入由大量文本构建，因此很可能已捕获不同语境下的大部分词汇。然而，它们能在多大程度上捕获领域特定的语义与词语关联？本文通过构建银行特定的词嵌入，并将其与 GloVe、BERT 等其他词嵌入来源进行比较评估，来探究这一想法。不足为奇，由银行特定语料构建的嵌入在捕获银行特定语义与词语关联方面表现更优。该发现表明，在执行银行业特定的 NLP 任务时，银行特定词嵌入可作为良好的独立来源或对其他广泛可用嵌入的补充。