以性能预测剖析跨度识别任务
计算与语言
2020-10-07 v1
摘要
跨度识别（简称 span ID）任务，如分块、命名实体识别（NER）或语码转换检测，要求模型识别并分类文本中的相关跨度。尽管作为 NLP 的中坚任务且共享通用结构，人们对这些任务的性质如何影响难度却鲜有洞见，因此在何种模型族适用于 span ID 任务及原因上缺乏指导。我们通过性能预测分析 span ID 任务，估计神经架构在不同任务上的表现。我们的贡献在于：（a）识别出可辅助性能预测的 span ID 任务关键性质；（b）在英文数据上开展大规模实验，构建预测未知 span ID 任务性能的模型以支持架构选择；（c）考察元模型的参数，得出关于模型与任务性质如何交互影响 span ID 性能的新洞见。我们发现，例如跨度频率对 LSTM 尤其重要，且当跨度稀少且边界不显著时 CRF 有所帮助。
引用
@article{arxiv.2010.02587,
title = {Dissecting Span Identification Tasks with Performance Prediction},
author = {Sean Papay and Roman Klinger and Sebastian Padó},
journal= {arXiv preprint arXiv:2010.02587},
year = {2020}
}
备注
accepted at EMNLP 2020