LokiLM: 技术报告
计算与语言
2024-07-11 v1
摘要
在本工作中，我们介绍了 LokiLM，这是一个由 14 亿参数构成的大型语言模型，训练使用了 5000 亿 token。我们的模型在自然语言推理任务中表现强劲，达到了 15 亿参数或更少模型中的最佳性能。LokiLM 使用多教师知识蒸馏和高质量训练数据实现了与使用显著更多 token 的更大模型相竞争的基准结果。我们通过在开发过程中引入避免基准数据污染和过拟合的步骤来支持这些发现。尽管模型表现前景十分广阔，但 LokiLM 仍表现出相当数量的幻觉，并在 TruthfulQA 基准测试中得分较差，因此我们不会公开发布该模型。
引用
@article{arxiv.2407.07370,
title = {LokiLM: Technical Report},
author = {Justin Kiefel and Shrey Shah},
journal= {arXiv preprint arXiv:2407.07370},
year = {2024}
}