使用HED-IT进行微调：人工后编辑对对话语言模型的影响
计算与语言
2024-06-12 v1
摘要
自动生成和收集语言数据的方法已被证明对于微调资源不如英语丰富的语言的语言模型(LM)是有效的。然而，尽管人们强调了数据数量，但对数据质量的关注却较少。在这项工作中，我们研究了在微调对话模型时，人工干预对机器生成数据的影响。具体来说，我们研究了：(1) 与自动生成的原始对话相比，经过后编辑的对话是否表现出更高的感知质量；(2) 使用后编辑对话进行微调是否会导致生成输出出现显著差异；(3) 在考虑LM参数规模时，后编辑对话是否会影响结果。为此，我们创建了HED-IT，这是一个大规模数据集，其中机器生成的对话与人工后编辑的版本配对。使用HED-IT的已编辑和未编辑部分，我们微调了三种不同规模的LM。人工和自动评估的结果均表明，训练数据的不同质量能被清晰感知，并且对基于此类数据训练的模型也产生了影响。此外，我们的发现表明，较大的模型对数据质量的敏感度较低，而数据质量对较小的模型则具有至关重要的影响。这些结果增强了我们对在开发高质量LM过程中人工干预训练数据影响的理解。
引用
@article{arxiv.2406.07288,
title = {Fine-tuning with HED-IT: The impact of human post-editing for dialogical language models},
author = {Daniela Occhipinti and Michele Marchi and Irene Mondella and Huiyuan Lai and Felice Dell'Orletta and Malvina Nissim and Marco Guerini},
journal= {arXiv preprint arXiv:2406.07288},
year = {2024}
}