WebGLM：面向具有人类偏好高效网络增强问答系统
计算与语言
2023-06-14 v1 人工智能
摘要
我们提出 WebGLM，一个基于通用语言模型（GLM）的网络增强问答系统。其目标是通过网络搜索和检索能力增强预训练大语言模型（LLM），同时在真实部署中保持高效。为此，我们开发了具有 LLM 增强检索器、自举生成器和人类偏好感知打分器策略的 WebGLM。具体而言，我们识别并解决了 WebGPT（OpenAI）的局限性，从而使 WebGLM 具备准确性、效率和成本效益优势。此外，我们提出了评估网络增强问答系统的系统性标准。我们进行了多维人类评估和定量消融研究，表明所提出的 WebGLM 设计优于现有系统。具有 100 亿参数 GLM（10B）的 WebGLM 在人类评估中表现优于相似规模的 WebGPT（13B），甚至可与 WebGPT（175B）相媲美。代码、演示和数据见 \url{https://github.com/THUDM/WebGLM}。
引用
@article{arxiv.2306.07906,
title = {WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences},
author = {Xiao Liu and Hanyu Lai and Hao Yu and Yifan Xu and Aohan Zeng and Zhengxiao Du and Peng Zhang and Yuxiao Dong and Jie Tang},
journal= {arXiv preprint arXiv:2306.07906},
year = {2023}
}
备注
Accepted to KDD 2023