使用LLM建立软件可取性的隐式用户情感

本研究探索了使用大语言模型(LLM)为软件可取性提供定量零样本情感分析，解决了传统评分评估中隐式软件可取性情感分析的关键挑战——传统评论分数虽便利，却未能捕捉用户反馈的丰富性。创新点包括: 1) 能够处理无需明确评分的定性用户体验数据; 2) 聚焦于隐式用户满意度; 3) 提供规模化的数值情感分析，提供比简单判断积极、中性或消极情感更细致的用户情感理解。数据通过Microsoft Product Desirability Toolkit(PDT)收集，该工具是广为人知的定性用户体验分析工具。通过两个软件系统的用户进行初始探索，PDT指标被给予用户。PDT数据被输入多种LLM(Claude Sonnet 3和3.5、GPT4和GPT4o)，以及领先的迁移学习技术Twitter-Roberta-Base-Sentiment和Vader等领先情感分析工具。每个系统被要求以两种方式评估数据: 通过查看PDT单词/解释对中表达的情感; 通过查看用户在其分组的五个单词和解释中表达的情感。每个LLM均提供情感得分、其得分置信度(低、中、高)以及得分解释。所有测试的LLM均能够从用户分组数据中检测用户情感，而TRBS和Vader未能实现。LLM提供的置信度及其置信度解释有助于理解用户情感。这项研究为评估用户体验、 toward creating a universal tool that quantifies implicit sentiment提供了更深入的理解。