Aya Expanse：聚合突破性研究成果开启新的多语言前沿
计算与语言
2024-12-06 v1
摘要
我们介绍 Aya Expanse 模型家族，这是一个新的 8B 和 32B 参数的多语言语言模型，旨在解决开发高性能多语言模型以匹配或超越单语言模型能力的关键挑战。通过利用 Cohere For AI 和 Cohere 多年来的研究成果，包括数据套利、多语言偏好训练和模型合并等进展，Aya Expanse 在多语言性能方面树立了新的最佳水平。我们的评估在翻译成 23 种语言的 Arena-Hard-Auto 数据集上表明，Aya Expanse 8B 和 32B 在各自的参数类别中超越了包括 Gemma 2、Qwen 2.5 和 Llama 3.1 在内的领先开源模型，分别实现了最高可达 76.6% 的胜率。值得注意的是，Aya Expanse 32B 超越了参数数目是其两倍的 Llama 3.1 70B，实现了 54.0% 的胜率。在本短技术报告中，我们展示了 Aya Expanse 模型家族的扩展评估结果，并公开其开放权重，同时发布了一个新的多语言评估数据集 m-ArenaHard。
引用
@article{arxiv.2412.04261,
title = {Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier},
author = {John Dang and Shivalika Singh and Daniel D'souza and Arash Ahmadian and Alejandro Salamanca and Madeline Smith and Aidan Peppin and Sungjin Hong and Manoj Govindassamy and Terrence Zhao and Sandra Kublik and Meor Amer and Viraat Aryabumi and Jon Ander Campos and Yi-Chern Tan and Tom Kocmi and Florian Strub and Nathan Grinsztajn and Yannis Flet-Berliac and Acyr Locatelli and Hangyu Lin and Dwarak Talupuru and Bharat Venkitesh and David Cairuz and Bowen Yang and Tim Chung and Wei-Yin Ko and Sylvie Shang Shi and Amir Shukayev and Sammie Bae and Aleksandra Piktus and Roman Castagné and Felipe Cruz-Salinas and Eddie Kim and Lucas Crawhall-Stein and Adrien Morisot and Sudip Roy and Phil Blunsom and Ivan Zhang and Aidan Gomez and Nick Frosst and Marzieh Fadaee and Beyza Ermis and Ahmet Üstün and Sara Hooker},
journal= {arXiv preprint arXiv:2412.04261},
year = {2024}
}