基于GPT的情感分析系统的质量保证：对抗性评论数据生成与检测
软件工程
2023-10-10 v1
摘要
大语言模型（LLMs）一直受到AI研究者的显著关注，尤其在ChatGPT广泛流行之后。然而，由于LLM架构复杂且参数庞大，其质量保证相关的若干担忧与挑战亟待解决。本文首先构建并研究了一个微调的基于GPT的情感分析模型，作为AI质量分析中的参考对象。随后，实施了与数据充分性相关的质量分析，包括采用基于内容的方法生成合理的对抗性评论作为错误标注数据，以及开发基于惊奇充分性（SA）的技术来检测这些异常数据。实验基于Amazon.com评论数据与微调GPT模型展开。结果从AI质量保证的角度进行了深入讨论，以呈现LLM模型在生成的对抗性文本数据上的质量分析，以及使用SA进行数据质量保证中异常检测的有效性。
引用
@article{arxiv.2310.05312,
title = {Quality Assurance of A GPT-based Sentiment Analysis System: Adversarial Review Data Generation and Detection},
author = {Tinghui Ouyang and Hoang-Quoc Nguyen-Son and Huy H. Nguyen and Isao Echizen and Yoshiki Seo},
journal= {arXiv preprint arXiv:2310.05312},
year = {2023}
}