面向意大利语的高级自然交互：LLaMAntino-3-ANITA
计算与语言
2024-05-14 v1 人工智能
摘要
在推进意大利语自然语言处理方面，我们介绍一种基于新型Meta LLaMA-3模型的状态机顶级大型语言模型，即LLaMAntino-3-ANITA-8B-Inst-DPO-ITA。我们采用监督微调(Supervised Fine-tuning, SFT)技术，对原始8B参数指令调优模型进行微调，训练数据包括英语和意大利语语言数据，以提升原始性能。随后，我们采用动态偏好优化(Dynamic Preference Optimization, DPO)过程进行偏好对齐，规避危险和不当的回答，并限制偏见和偏见。该模型利用QLoRA的效率优势，在对原始模型权重的较小部分上进行微调，然后专为意大利语语言结构进行适应，显著提升了性能和计算效率。与此同时，DPO用于细化模型输出，确保生成内容与高质量答案相匹配。SFT、QLoRA的参数效率和DPO的用户导向优化之间的协同作用，使得该LLM在各种任务中表现卓越，包括但不限于文本完成、零样本分类和上下文理解。在意大利语和英语语言的标准基准上进行了广泛评估，显示出卓越的成绩。该模型可免费在HuggingFace hub上获取，示例用法可在我们的GitHub仓库中找到。https://huggingface.co/swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA
引用
@article{arxiv.2405.07101,
title = {Advanced Natural-based interaction for the ITAlian language: LLaMAntino-3-ANITA},
author = {Marco Polignano and Pierpaolo Basile and Giovanni Semeraro},
journal= {arXiv preprint arXiv:2405.07101},
year = {2024}
}