AI 质量保证中基于 ChatGPT 的情感分析稳定性研究
计算与语言
2024-01-17 v1
摘要
在大模型时代，复杂的架构和海量的参数给有效的 AI 质量管理（AIQM），例如大语言模型（LLM），带来了巨大挑战。本文聚焦于研究一个特定基于 LLM 的 AI 产品——基于 ChatGPT 的情感分析系统的质量保证。研究深入探讨了与 ChatGPT 所基于的庞大 AI 模型的运行和鲁棒性相关的稳定性问题。使用情感分析基准数据集进行了实验分析。结果表明，所构建的基于 ChatGPT 的情感分析系统表现出不确定性，这归因于多种运行因素。实验证明，该系统在处理涉及鲁棒性的常规小文本攻击时也表现出稳定性问题。
引用
@article{arxiv.2401.07441,
title = {Stability Analysis of ChatGPT-based Sentiment Analysis in AI Quality Assurance},
author = {Tinghui Ouyang and AprilPyone MaungMaung and Koichi Konishi and Yoshiki Seo and Isao Echizen},
journal= {arXiv preprint arXiv:2401.07441},
year = {2024}
}