少量人类数据也能事半功倍

面对昂贵的人类标注过程，NLP系统的创建者日益倾向于使用合成数据生成。尽管该方法显示出前景，但合成数据能否取代人类标注的程度尚不明了。我们研究了在事实验证（FV）和问答（QA）中的合成数据的应用，通过研究逐步用合成数据替换人工生成数据对八个多样化数据集影响的结果。惊人的是，用合成数据替换最多90%的训练数据仅导致性能轻微下降，但替换最后10%的数据则导致严重下降。我们发现，仅用125个人工生成数据点即可可靠地提高纯合成数据训练的模型性能。我们表明，要获得仅200个数据点所带来的性能提升，需要约10倍的合成数据，并估算了人工标注在何种价格比例下更具成本效益。我们的结果表明，即使在大规模人工标注不可行的情况下，拥有小部分数据集由人工生成仍具有巨大价值。