从基础到对话：日语指令数据集与大型语言模型微调

指令微调对于大型语言模型（LLMs）实现交互至关重要。尽管英语指令微调数据集已有很多，但其他语言明显匮乏，且其在非英语语言中的有效性尚未得到充分验证。我们通过扩展和筛选现有数据集构建了一个日语指令数据集，并将该数据集应用于一个日语预训练基础模型。我们使用该指令数据集对日语和英语的现有模型进行了低秩自适应（LoRA）微调，并从定量与定性两个角度对这些模型进行了评估。结果表明，日语指令数据集的有效性得到确认。结果还表明，即便使用相对较小的LLMs，经指令微调后其在下游任务中的表现也会提升。我们的指令数据集、微调后的模型及实现代码均已在线公开。