区分聊天机器人與人類
计算与语言
2024-08-12 v1 机器学习
摘要
近年来，生成式人工智能（AI）和大型语言模型（LLM）领域取得了许多进展，生成式预训练变换模型（GPT）作为领头的“聊天机器人”。基于大型语言模型的聊天机器人已变得如此强大，以至于难以区分人类撰写的文本与机器生成的文本。为分析这一问题，我们开发了一个新数据集，包含超过 75 万篇人类撰写的段落，每篇段落都有一个对应的聊天机器人生成段落。基于该数据集，我们应用机器学习（ML）技术来确定文本来源（人类或聊天机器人）。具体而言，我们考虑两种解决方法：特征分析和嵌入方法。我们的特征分析方法涉及从文本中提取一组特征用于分类。我们还探索使用语境嵌入和基于变换的架构来训练分类模型。我们提出的解决方案具有高分类准确率，可作为文本分析的有用工具，帮助更好地理解此AI技术时代的聊天机器人生成文本。
引用
@article{arxiv.2408.04647,
title = {Distinguishing Chatbot from Human},
author = {Gauri Anil Godghase and Rishit Agrawal and Tanush Obili and Mark Stamp},
journal= {arXiv preprint arXiv:2408.04647},
year = {2024}
}