QANA：基于 LLM 的问题生成与网络分析，用于零样本关键点分析及其他
计算与语言
2024-04-30 v1
摘要
社交媒体的激增导致了信息过载和对意见挖掘兴趣的增加。我们提出了“问答网络分析”（QANA），这是一个新颖的意见挖掘框架，它利用大语言模型（LLM）从用户评论中生成问题，基于评论对问题的可回答性构建二分图，并应用中心性度量来考察意见的重要性。我们通过将构建的 QA 网络与标注的关键点分析数据集进行比较，研究了问题生成风格、LLM 选择以及嵌入模型选择对网络质量的影响。QANA 在关键点匹配任务上以零样本的方式达到了与先前最先进的监督模型相当的性能，同时将计算成本从二次方降低到线性。对于关键点生成，具有高 PageRank 或度中心性的问题与人工标注的关键点高度吻合。值得注意的是，QANA 使分析师能够根据他们对中心性度量的选择，从各个方面评估关键点的重要性。QANA 的主要贡献在于其从广泛视角提取关键点的灵活性，这提高了意见挖掘的质量和公正性。
引用
@article{arxiv.2404.18371,
title = {QANA: LLM-based Question Generation and Network Analysis for Zero-shot Key Point Analysis and Beyond},
author = {Tomoki Fukuma and Koki Noda and Toshihide Ubukata Kousuke Hoso and Yoshiharu Ichikawa and Kyosuke Kambe and Yu Masubuch and Fujio Toriumi},
journal= {arXiv preprint arXiv:2404.18371},
year = {2024}
}
备注
Under review as a conference paper at COLM 2024