用于更优数据标注器的 GPT 自监督方法
计算与语言
2023-06-09 v2 数据库
摘要
将数据标注为简明摘要的任务在各领域均构成重大挑战，常需人类专家投入大量时间与专业知识。尽管已有利用大型语言模型进行标注任务的努力，但诸如对未标注数据适用性有限、缺乏自监督方法以及未关注复杂结构化数据等显著问题依然存在。本工作中，我们提出一种 GPT 自监督标注方法，其体现一种利用生成式预训练变换器（Generative Pretrained Transformer, GPT）单次学习能力的生成-恢复范式。所提方法包含一个单次调优阶段与一个生成阶段。在单次调优阶段，我们从支持集中采样一个数据作为 GPT 提示的一部分以生成文本摘要，随后用于恢复原始数据。恢复数据与原始数据之间的对齐分数作为自监督导航器以优化过程。在生成阶段，最优筛选出的单次样本作为提示中的模板，并用于从困难数据集生成摘要。标注性能通过调优若干人类反馈奖励网络，以及在句子与结构层级计算原始与恢复数据间对齐分数来评估。我们的自监督标注方法持续取得具竞争力的分数，令人信服地展示了其在各类数据到摘要标注任务中的稳健优势。
引用
@article{arxiv.2306.04349,
title = {GPT Self-Supervision for a Better Data Annotator},
author = {Xiaohuan Pei and Yanxi Li and Chang Xu},
journal= {arXiv preprint arXiv:2306.04349},
year = {2023}
}