教我如何标注：基于文本到文本 Transformer 从自然语言生成标注函数
计算与语言
2021-01-19 v1 机器学习
摘要
标注数据已成为训练准确机器学习模型最重要的瓶颈，尤其是在需要领域专业知识的领域。近期一种应对上述问题的方法提出使用自然语言解释而非标注单个数据点，从而大幅提高人工标注者的效率并显著降低成本。本文关注于将这些自然语言描述转化为 Python 标注函数的任务，采用一种基于预训练文本到文本 Transformer 的语义分析新方法来达成这一目标。在一系列实验中，我们的方法在语义分析基准 CoNaLa 上达到了新的 SOTA，比先前最佳方法高出 3.7 个 BLEU 点。此外，在一个人工构建的自然语言描述—标注函数配对数据集上，我们取得了 0.39 的 BLEU。我们的方法可视为迈向以自然语言教会模型如何标注、而非提供特定标注样本的模型的垫脚石。我们的代码、构建的数据集和模型可在 https://github.com/ypapanik/t5-for-code-generation 获取。
引用
@article{arxiv.2101.07138,
title = {Teach me how to Label: Labeling Functions from Natural Language with Text-to-text Transformers},
author = {Yannis Papanikolaou},
journal= {arXiv preprint arXiv:2101.07138},
year = {2021}
}