面向航空领域适配句子Transformer模型
计算与语言
2023-11-30 v2
摘要
学习有效的句子表示对于许多自然语言处理（NLP）任务至关重要，包括语义搜索、语义文本相似度（STS）和聚类。尽管已开发出多种用于句子嵌入学习的Transformer模型，但这些模型在处理航空等专门领域时可能表现不佳，该领域具有技术术语、缩写和非传统语法等独特特征。此外，缺乏标注数据集使得难以专门针对航空领域训练模型。为应对这些挑战，我们提出了一种将句子Transformer适配于航空领域的新方法。我们的方法是一个两阶段过程，包括预训练和微调。在预训练期间，我们使用Transformers和序列去噪自编码器（TSDAE）以航空文本数据作为输入，以改善初始模型性能。随后，我们在Sentence Bidirectional Encoder Representations from Transformers（SBERT）架构中使用自然语言推理（NLI）数据集对模型进行微调，以缓解过拟合问题。在多个下游任务上的实验结果表明，我们适配的句子Transformer显著优于通用Transformer，证明了我们的方法在捕捉航空领域细微特征方面的有效性。总体而言，我们的工作凸显了领域特定适配在为航空等专门行业开发高质量NLP解决方案中的重要性。
引用
@article{arxiv.2305.09556,
title = {Adapting Sentence Transformers for the Aviation Domain},
author = {Liya Wang and Jason Chou and Dave Rouck and Alex Tien and Diane M Baumgartner},
journal= {arXiv preprint arXiv:2305.09556},
year = {2023}
}