QuaLLM：一种基于 LLM 的从在线论坛提取定量洞察的框架
计算与语言
2025-02-18 v2 人机交互
摘要
在线讨论论坛提供了关键数据，用于理解广泛的真实世界群体的关切。然而，用于分析这些数据的典型定性与定量方法（如主题分析和主题建模）无法规模化，或者需要大量人力将输出转化为人类可读的形式。本研究引入了 QuaLLM，一种基于 LLM 的新框架，用于分析并从在线论坛的文本数据中提取定量洞察。该框架包含一种新颖的提示与人工评估方法。我们将此框架应用于分析来自 Reddit 两个网约车司机社区的超过一百万条评论，标志着同类研究中规模最大的一次。我们揭示了工作者对 AI 和算法平台决策的重大关切，回应了关于工作者洞察的监管呼吁。简而言之，我们的工作为 AI 辅助的定量数据分析以揭示在线论坛中的关切树立了新先例。
引用
@article{arxiv.2405.05345,
title = {QuaLLM: An LLM-based Framework to Extract Quantitative Insights from Online Forums},
author = {Varun Nagaraj Rao and Eesha Agarwal and Samantha Dalal and Dan Calacci and Andrés Monroy-Hernández},
journal= {arXiv preprint arXiv:2405.05345},
year = {2025}
}
备注
Accepted to NAACL Findings (2025), cite appropriately. Preliminary version presented at CHI LLM as Research Tools Workshop (2024)