自带数据！大语言模型的自监督评估
计算与语言
2023-06-30 v2 机器学习
摘要
随着大语言模型（LLMs）的兴起及其在多样领域的普遍部署，在真实数据上衡量语言模型行为变得至关重要。例如，部署面向客户聊天机器人的公司必须确保模型不会对客户请求以脏话回应。当前评估使用带有人工标注的小规模特定领域数据集来解决该问题。这些评估集通常采样自狭窄且简化的分布，且数据源可能在未知情况下泄露至训练集，从而导致误导性评估。为规避这些缺陷，我们提出一种通过分析 LLM 对输入文本变换的敏感性或不变性来进行自监督评估的框架。自监督评估可直接监控在野外部署收集或实时模型部署中流式传输的数据集上的 LLM 行为。我们展示了用于衡量闭卷知识、毒性、长程上下文依赖，以及对语法结构和分词错误的敏感性的自监督评估策略。当与类似人工标注基准的比较可用时，我们发现自监督与人类监督评估间存在强相关性。自监督范式补充了当前依赖标注数据的评估策略。
引用
@article{arxiv.2306.13651,
title = {Bring Your Own Data! Self-Supervised Evaluation for Large Language Models},
author = {Neel Jain and Khalid Saifullah and Yuxin Wen and John Kirchenbauer and Manli Shu and Aniruddha Saha and Micah Goldblum and Jonas Geiping and Tom Goldstein},
journal= {arXiv preprint arXiv:2306.13651},
year = {2023}
}
备注
Code is available at https://github.com/neelsjain/BYOD. First two authors contributed equally. 21 pages, 22 figures