对话式音乐推荐查询中命名实体识别（NER）的人体受试者研究
计算与语言
2023-03-14 v1
摘要
我们在一个含大量不规则与新奇命名实体的噪声对话式音乐推荐查询语料上进行了命名实体识别的人体受试者研究。我们评估了在这些挑战性条件下人类的 NER 语言行为，并将其与当今最常见的 NER 系统——微调的 transformers 进行了比较。我们的目标是了解该任务以指导更好的评估方法与 NER 算法的设计。结果表明，在严格评估框架下，NER 在我们的场景中对于人类与算法都相当困难；人类具有更高的精确率，而模型因实体暴露（尤其在预训练期间）具有更高的召回率；且实体类型具有不同的错误模式（例如艺术家名频繁出现输入错误）。所发布的语料超越了预定义的交互框架，可支持对话式音乐推荐的后续工作。
引用
@article{arxiv.2303.06944,
title = {A Human Subject Study of Named Entity Recognition (NER) in Conversational Music Recommendation Queries},
author = {Elena V. Epure and Romain Hennequin},
journal= {arXiv preprint arXiv:2303.06944},
year = {2023}
}