聊天机器人对话回复的评分
计算与语言
2023-03-22 v1 机器学习
摘要
聊天机器人长期以来能够回答基础问题甚至响应冷僻提示，但近来其改进远为显著。现代聊天机器人如OpenAI的ChatGPT3不仅可回答基础问题，还能编写代码与电影脚本并模仿知名人士。本文中，我们基于Quora论坛热门查询数据集，分析ChatGPT对各类问题的回复。我们向ChatGPT提交六十个问题，并依据三项用于机器翻译评分的业界标准指标BLEU、METEOR与ROUGE对答案打分。这些指标使我们能将机器回复与同一问题下获最高赞的人类答案比较，以评估ChatGPT给出拟人化回复的能力。结果表明，尽管ChatGPT的回复与翻译能力出众，仍不及典型人类反应。
引用
@article{arxiv.2303.12038,
title = {Grading Conversational Responses Of Chatbots},
author = {Grant Rosario and David Noever},
journal= {arXiv preprint arXiv:2303.12038},
year = {2023}
}