AllHands：基于大语言模型的大规模逐字反馈“有问必答”系统
软件工程
2024-04-04 v2
摘要
逐字反馈构成了用户经验、意见和需求的宝贵资源库，对软件开发至关重要。从此类数据中有效且高效地提取有价值的见解是一项具有挑战性的任务。本文介绍了 Allhands，这是一个创新的分析框架，专为通过自然语言界面进行大规模反馈分析而设计，利用了大语言模型（LLMs）。Allhands 遵循传统的反馈分析工作流程，首先对反馈进行分类和主题建模，将其转换为结构增强的格式，并整合 LLMs 以提升准确性、鲁棒性、泛化能力和用户友好性。随后，采用一个 LLM 智能体来解释用户用自然语言提出的关于反馈的各种问题，将其翻译为 Python 代码以供执行，并提供全面的多模态响应，包括文本、代码、表格和图像。我们在三个不同的反馈数据集上评估了 Allhands。实验表明，Allhands 在分析的所有阶段（包括分类和主题建模）均实现了卓越的效能，最终为用户提供了“有问必答”的体验，给出全面、正确且人类可读的响应。据我们所知，Allhands 是首个通过自然语言界面支持多样化、定制化见解提取需求的综合反馈分析框架。
引用
@article{arxiv.2403.15157,
title = {AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models},
author = {Chaoyun Zhang and Zicheng Ma and Yuhao Wu and Shilin He and Si Qin and Minghua Ma and Xiaoting Qin and Yu Kang and Yuyi Liang and Xiaoyu Gou and Yajie Xue and Qingwei Lin and Saravan Rajmohan and Dongmei Zhang and Qi Zhang},
journal= {arXiv preprint arXiv:2403.15157},
year = {2024}
}