中文

超越关键词:一种基于上下文的混合方法,用于挖掘涉及伦理关切的应用评论

计算与语言 2024-11-13 v1 人工智能 软件工程

摘要

随着移动应用在日常生活中的日益普及,围绕伦理的关切显著增加。用户通常在应用评论中传达反馈、报告问题并提出新功能建议,经常强调安全、隐私和问责方面的关切。纳入这些评论对于开发成功的产品至关重要。然而,与伦理关切相关的应用评论通常使用领域特定语言,且表达词汇更加多样。这使得自动化提取涉及伦理关切的应用评论成为一项具有挑战性且耗时的工作。本研究提出了一种新颖的基于自然语言处理(NLP)的方法,该方法结合了自然语言推理(NLI)——它能提供对语言细微差别的深度理解——以及仅解码器(类LLaMA)大语言模型(LLM),以大规模提取涉及伦理关切的应用评论。利用心理健康领域的43,647条应用评论,所提方法:1) 评估四种NLI模型以提取潜在隐私评论,并比较领域特定隐私假设与通用隐私假设的结果;2) 评估四种LLM对应用评论进行隐私关切分类;3) 使用最佳的NLI和LLM模型进一步从数据集中提取新的隐私评论。结果表明,结合领域特定假设的DeBERTa-v3-base-mnli-fever-anli NLI模型表现最佳,而Llama3.1-8B-Instruct LLM在应用评论分类中表现最佳。随后,使用NLI+LLM方法,额外提取了1,008条新的隐私相关评论,这些评论在先前基于关键词的研究中未被识别,从而证明了所提方法的有效性。

关键词

引用

@article{arxiv.2411.07398,
  title  = {Beyond Keywords: A Context-based Hybrid Approach to Mining Ethical Concern-related App Reviews},
  author = {Aakash Sorathiya and Gouri Ginde},
  journal= {arXiv preprint arXiv:2411.07398},
  year   = {2024}
}