基于大语言模型且平衡可解释的公共卫生社交媒体分析
计算与语言
2023-09-13 v1
摘要
随着社交媒体日益普及，越来越多的公共卫生活动涌现，这值得关注以进行疫情监测与政府决策。当前公共卫生分析技术涉及 BERT 与大语言模型（LLMs）等流行模型。尽管近期 LLMs 的进展通过在特定领域数据集上微调展现出强大的知识理解能力，但为每个具体公共卫生任务训练领域内 LLM 的成本尤为高昂。此外，来自社交媒体的此类领域内数据集通常高度不平衡，这将阻碍 LLMs 微调的效率。为应对这些挑战，社交媒体数据集的数据不平衡问题可通过精细的数据增强方法克服。另外，LLMs 的能力可通过恰当提示模型而有效利用。鉴于上述讨论，本文提出一种新颖的 ALEX 框架用于公共卫生社交媒体分析。具体而言，开发了一条增强流水线以解决数据不平衡问题。此外，提出了一种 LLMs 解释机制，通过以 BERT 模型的预测结果提示 LLM 来实现。在 Social Media Mining for Health 2023（SMM4H）竞赛的三个任务上进行的广泛实验，其中在两个任务上取得第一排名，证明了所提 ALEX 方法的优越性能。我们的代码已发布于 https://github.com/YanJiangJerry/ALEX。
引用
@article{arxiv.2309.05951,
title = {Balanced and Explainable Social Media Analysis for Public Health with Large Language Models},
author = {Yan Jiang and Ruihong Qiu and Yi Zhang and Peng-Fei Zhang},
journal= {arXiv preprint arXiv:2309.05951},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2309.04213