将英语中型 GPT 模型对齐至西班牙语小型封闭领域
计算与语言
2023-06-01 v3 机器学习
摘要
本文提出一种方法，将原本在英语开放领域训练的中型 GPT 模型对齐至西班牙语的小型封闭领域。该模型微调的应用为问答任务。为此，我们还需要训练并实现另一个神经网络（称为奖励模型），其能对给定问题的回答是否恰当进行评分与判定。该组件用于改进系统回答的解码与生成。我们使用 BLEU 与困惑度等数值指标评估模型，并采用人工判断将所提解码技术与其他技术比较。最终，结果支持所提方法，并确定使用奖励模型对齐回答生成是可行的。
引用
@article{arxiv.2303.17649,
title = {Aligning a medium-size GPT model in English to a small closed domain in Spanish},
author = {Oscar R. Navarrete-Parra and Victor Uc-Cetina and Jorge Reyes-Magana},
journal= {arXiv preprint arXiv:2303.17649},
year = {2023}
}
备注
Accepted in the journal Procesamiento del Lenguaje Natural