基于连续提示微调的电商实体类型标注文本蕴含模型
计算与语言
2022-11-07 v1
摘要
电子商务的爆发引发了对产品标题处理与分析的需求，例如产品标题中的实体类型标注。然而，电商中活跃的快速更迭导致新实体迅速涌现，这难以通过通用实体类型标注解决。此外，电商产品标题的语言风格与通用领域文本数据差异很大。为处理产品标题中的新实体并解决电商领域产品标题特殊语言风格问题，我们提出基于连续提示微调假设与融合嵌入的文本蕴含模型用于电商实体类型标注。首先，我们将实体类型标注任务重构为文本蕴含问题，以处理训练时未出现的新实体。其次，我们设计模型利用连续提示微调方法自动生成文本蕴含假设，无需人工设计即可生成更好的文本蕴含假设。第三，我们利用 BERT 嵌入与 CharacterBERT 嵌入的融合嵌入加两层 MLP 分类器，解决电商产品标题语言风格不同于通用领域的问题。为分析各部分的贡献，我们比较了实体类型标注与文本蕴含模型的性能，并对连续提示微调与融合嵌入进行消融实验。我们还评估了不同提示模板初始化对连续提示微调的影响。我们表明所提模型相比基线 BERT 实体类型标注模型平均 F1 分数提升约 2%。
引用
@article{arxiv.2211.02483,
title = {Continuous Prompt Tuning Based Textual Entailment Model for E-commerce Entity Typing},
author = {Yibo Wang and Congying Xia and Guan Wang and Philip Yu},
journal= {arXiv preprint arXiv:2211.02483},
year = {2022}
}