Reactor Mk.1 性能：MMLU、HumanEval和BBH测试结果
人工智能
2024-07-29 v2 计算与语言
摘要
本文通过基准测试过程分析，展示了ARC旗舰大语言模型Reactor Mk.1的性能结果。该模型采用Lychee AI引擎，参数规模低于1000亿，兼具效率与效能。Reactor Mk.1在MMLU数据集上获得92%的分数，在HumanEval数据集上获得91%，在BBH数据集上获得88%，超越了GPT-4o、Claude Opus和Llama 3等模型。它在处理困难任务和推理方面均表现出色，成为当前尖端AI技术中的杰出AI解决方案。
引用
@article{arxiv.2406.10515,
title = {Reactor Mk.1 performances: MMLU, HumanEval and BBH test results},
author = {TJ Dunham and Henry Syahputra},
journal= {arXiv preprint arXiv:2406.10515},
year = {2024}
}