OATH-Frames:利用 LLM 辅助 characterize 对美国 homelessness 的在线态度
计算与语言
2024-10-30 v2 计算机与社会
摘要
警告:本文内容可能令人不安。公众对社会关键议题的在线态度表达对于政策和改革具有重要价值,但在规模上仍然难以理解。我们利用大型语言模型的卓越能力,辅助社会工作专家分析来自 Twitter 上数百万篇关于美国 homelessness 的帖子。我们引入一种框架类型学:Online Attitudes Towards Homelessness(OATH)Frames:捕捉批评、回应和感知的九级层次框架。我们发布的注释具有不同程度的语言模型帮助,规模化带来了巨大效益:在性能上仅受到 3 分钟的 F1 分数下降,却实现了 6.5 倍的注释速度。我们的实验表明,对 OATH-Frames 的建模优于现有的情感和有害分类器。我们对预测的 OATH-Frames 对 240 万篇关于 homelessness 的帖子进行大规模分析,揭示了跨州、时间段和不同人群中态度的关键趋势,为理解这一问题提供了新视角。我们的工作为理解规模化的细粒度公众态度提供了通用框架,适用于 homelessness 之外的其他议题。
引用
@article{arxiv.2406.14883,
title = {OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants},
author = {Jaspreet Ranjit and Brihi Joshi and Rebecca Dorn and Laura Petry and Olga Koumoundouros and Jayne Bottarini and Peichen Liu and Eric Rice and Swabha Swayamdipta},
journal= {arXiv preprint arXiv:2406.14883},
year = {2024}
}
备注
Project website: https://dill-lab.github.io/oath-frames/, EMNLP Main 2024