HelpSteer：用于 SteerLM 的多属性有用性数据集
计算与语言
2023-11-17 v1 人工智能
机器学习
摘要
现有的开源有用性偏好数据集未指明哪些因素使某些回复更有用而其他回复用处较小。在这些数据集上训练的模型可能无意中学会对数据集伪影建模（例如仅因长度而偏好更长但无用的回复）。为缓解此问题，我们收集了 HelpSteer，一个针对使回复有用各方面进行标注的多属性有用性数据集。具体而言，我们拥有 37k 样本的数据集，除回复的整体有用性外，还标注了正确性、连贯性、复杂性和冗长性。使用 HelpSteer 数据集通过 SteerLM 技术训练 Llama 2 70B 得到的模型在 MT Bench 上得分为 7.54，这是当前不需要来自更强大模型（如 GPT4）训练数据的开放模型的最高分。我们以 CC-BY-4.0 许可在 https://huggingface.co/datasets/nvidia/HelpSteer 发布该数据集。
引用
@article{arxiv.2311.09528,
title = {HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM},
author = {Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
journal= {arXiv preprint arXiv:2311.09528},
year = {2023}
}