电商搜索中命名实体识别的端到端解决方案

命名实体识别（NER）是现代搜索查询理解中的关键步骤。在电商领域，识别品牌和产品类型等关键实体，可以帮助搜索引擎检索相关产品，从而提供引人入胜的购物体验。近期研究表明，使用深度学习方法在共享基准NER任务上取得了有前景的结果，但在工业界仍面临领域知识、训练数据和模型生产方面的独特挑战。本文展示了一种应对这些挑战的端到端解决方案。我们解决方案的核心是一个新颖的模型训练框架“TripleLearn”，它从三个独立的训练数据集迭代学习，而非传统做法中的单一训练集。使用该方法，最佳模型在留出测试数据上的F1分数从69.5提升至93.3。在我们的离线实验中，与使用单一训练数据的传统训练方法相比，TripleLearn提升了模型性能。此外，在线A/B测试显示，用户参与度和收入转化均有显著提升。该模型已在homedepot.com上线超过9个月，提升了搜索转化和收入。除我们的应用外，这一TripleLearn框架以及端到端流程与模型和具体问题无关，因此可推广到更多工业应用，尤其是具有类似数据基础和问题的电商行业。