Airavata：推出面向印地语的指令微调大语言模型
计算与语言
2024-02-27 v2 人工智能
摘要
我们宣布首次发布“Airavata”，一个面向印地语的指令微调大语言模型（LLM）。Airavata 通过使用多样化的印地语指令微调数据集对 OpenHathi 进行微调而创建，使其更适用于辅助性任务。除了模型，我们还分享了 IndicInstruct 数据集，这是一个多样化的指令微调数据集集合，旨在推动印度语言大语言模型的进一步研究。此外，我们提供了评估基准和一个用于评估大语言模型在印地语各项任务中表现的框架。目前，Airavata 支持印地语，但我们计划将其扩展到所有 22 种印度官方语言。您可以通过 https://ai4bharat.github.io/airavata 访问所有相关资源。
引用
@article{arxiv.2401.15006,
title = {Airavata: Introducing Hindi Instruction-tuned LLM},
author = {Jay Gala and Thanmay Jayakumar and Jaavid Aktar Husain and Aswanth Kumar M and Mohammed Safi Ur Rahman Khan and Diptesh Kanojia and Ratish Puduppully and Mitesh M. Khapra and Raj Dabre and Rudra Murthy and Anoop Kunchukuttan},
journal= {arXiv preprint arXiv:2401.15006},
year = {2024}
}
备注
Work in progress