基于迁移学习的查询意图与命名实体多任务学习
计算与语言
2021-05-10 v1 机器学习
摘要
命名实体识别（NER）已被广泛研究，早期算法基于隐马尔可夫模型（HMM）和条件随机场（CRF）等序列标注方法。随后出现了基于神经网络的深度学习模型。近来，BERT 在 NER 等序列标注任务中展现出新的 SOTA 准确率。在本文中，我们研究面向特定任务的 NER 的多种方法。特定任务的 NER 包含两个部分——识别一段文本（如搜索查询）的意图，然后用特定任务的命名实体标注该查询。例如，我们考虑在搜索查询中标注 Target 商店位置的任务（查询可输入搜索框或通过对 Alexa 或 Google Home 等设备语音说出）。商店位置具有高度歧义性，有时难以区分位置与非位置。例如，“pickup my order at orange store”中“orange”为商店位置，而“buy orange at target”中“orange”为水果。我们通过多任务学习（称之为全局到局部的信息迁移）探究此困难。我们在基于 BERT 的模型中利用多损失函数联合学习查询意图（即商店查找）与命名实体，并发现了有趣的结果。
引用
@article{arxiv.2105.03316,
title = {Multi-Task Learning of Query Intent and Named Entities using Transfer Learning},
author = {Shalin Shah and Ryan Siskind},
journal= {arXiv preprint arXiv:2105.03316},
year = {2021}
}