生成式人工智能的可复现性与共识
分布式、并行与集群计算
2024-02-07 v2
摘要
我们在人工生成的数据样本之间执行了十亿次局部敏感哈希比较，以回答一个关键问题——我们能否复现生成式 AI 模型的结果？可复现性是科学研究用于可验证性、基准测试、信任与透明性的支柱之一。此外，我们通过在非确定性、无信任、去中心化网络中验证生成式 AI 输出的“正确性”，将本研究提升到一个新高度。我们从多种开源扩散模型和大型语言模型中生成了数百万个数据样本，并描述了生成更具确定性 versus 较不具确定性输出之间的过程与权衡。另外，我们分析输出以提供关于验证的容差与误差界不同参数化的经验证据。对于我们的结果，我们表明在三个独立验证者之间进行多数投票时，我们能以超过 99.89% 的概率检测生成 AI 中的图像生成感知碰撞，且类内碰撞概率小于 0.0267%。对于大型语言模型（LLMs），我们能够使用贪心方法或 n-way beam searches 在不同 LLM 上生成共识，从而获得 100% 共识。在生成式 AI 训练的背景下，我们定位并最小化了随机性的主要来源，并提出了用于可验证性的 gossip 与同步训练技术。因此，本工作为生成式 AI 应用的 AI 验证、可复现性与共识提供了实用、坚实的基础。
引用
@article{arxiv.2307.01898,
title = {Generative Artificial Intelligence Reproducibility and Consensus},
author = {Edward Kim and Isamu Isozaki and Naomi Sirkin and Michael Robson},
journal= {arXiv preprint arXiv:2307.01898},
year = {2024}
}
备注
16 pages