h2oGPT：让大语言模型走向民主化
计算与语言
2023-06-19 v2 人工智能
人机交互
信息检索
机器学习
摘要
基于大语言模型（LLMs，如 GPT-4）构建的应用因其在自然语言处理方面达到人类水平的能力而代表了人工智能的一场革命。然而，它们也带来了许多重大风险，例如存在有偏见的、私人的或有害的文本，以及未经授权包含受版权保护的材料。我们介绍了 h2oGPT，这是一套基于生成式预训练 Transformer（GPTs）创建和使用 LLM 的开源代码库。该项目的目标是打造世界上最好的真正开源的闭源方案替代者。作为不可思议且不可阻挡的开源社区协作的一部分并参与其中，我们开源了从 70 亿到 400 亿参数不等的多个微调 h2oGPT 模型，可在完全许可的 Apache 2.0 许可证下用于商业用途。我们的发布中还包括使用自然语言进行 100% 私有的文档搜索。开源语言模型有助于推动 AI 发展，并使其更易于获取和值得信赖。它们降低了准入门槛，允许个人和团体根据这些模型满足自身需求。这种开放性增加了创新、透明度和公平性。需要开源战略来公平分享 AI 益处，H2O.ai 将继续推动 AI 和 LLM 的民主化。
引用
@article{arxiv.2306.08161,
title = {h2oGPT: Democratizing Large Language Models},
author = {Arno Candel and Jon McKinney and Philipp Singer and Pascal Pfeiffer and Maximilian Jeblick and Prithvi Prabhu and Jeff Gambera and Mark Landry and Shivam Bansal and Ryan Chesler and Chun Ming Lee and Marcos V. Conde and Pasha Stetsenko and Olivier Grellier and SriSatish Ambati},
journal= {arXiv preprint arXiv:2306.08161},
year = {2023}
}
备注
Work in progress by H2O.ai, Inc