用于 COVID-19 疫苗接种搜索分类的稠密特征记忆增强 Transformer
信息检索
2022-12-29 v1 人工智能
机器学习
摘要
随着 COVID-19 的破坏性爆发，疫苗是这场全球大流行中抵御大规模感染的关键防线之一。鉴于疫苗提供的保护，在特定社交和职业场景中疫苗正变得强制化。本文提出一种用于检测 COVID-19 疫苗接种相关搜索查询的分类模型，即一种用于生成 COVID-19 疫苗接种搜索洞察的机器学习模型。所提方法结合并利用了现代最先进（SOTA）自然语言理解（NLU）技术（如预训练 Transformer）与传统稠密特征的进展。我们提出一种将稠密特征视为模型可关注的记忆令牌的新颖方法。我们表明，这一新建模方法显著改进了疫苗搜索洞察（VSI）任务，相较强大的成熟梯度提升基线在 F1 分数上相对提升 +15%、在精确率上相对提升 +14%。
引用
@article{arxiv.2212.13898,
title = {Dense Feature Memory Augmented Transformers for COVID-19 Vaccination Search Classification},
author = {Jai Gupta and Yi Tay and Chaitanya Kamath and Vinh Q. Tran and Donald Metzler and Shailesh Bavadekar and Mimi Sun and Evgeniy Gabrilovich},
journal= {arXiv preprint arXiv:2212.13898},
year = {2022}
}
备注
EMNLP 2022