实验室级 AI：开放权重模型即使在低资源环境下亦能与 ChatGPT 竞争

生成式 AI 的快速普及引发了关于低参数量、本地可调的开放权重模型与高参数量、受 API 保护的封闭权重模型在性能、领域自适应、成本和泛化能力方面竞争力的疑问。以政府、研究和医疗保健中资源不足但风险承受力极低的场景为中心，我们认为营利性封闭权重模型与透明度、隐私、适应性及证据标准的要求不相容。然而，使用开放权重模型带来的性能损失，尤其是在低数据和低资源环境下，尚不明确。我们评估了在仅有单块低成本 GPU 的条件下，使用更小的开放权重模型在零样本、少样本和微调机制下替代 GPT-4-Turbo 的可行性。我们在与偏见、隐私和弃权相关的三个额外任务上评估了价值敏感问题。我们发现，凭借相对较低的工作量、极低的绝对货币成本以及相对较少的微调数据，小型开放权重模型能够在领域自适应任务中取得有竞争力的性能，且不牺牲通用性。随后，我们针对偏见、隐私和幻觉风险中的实际问题进行了实验，发现开放模型相比封闭模型具有多项优势。我们希望本研究能作为一个案例，用以理解相较于营利性最先进零样本性能，可复现性与透明度的机会成本，并发现在现实环境下该成本微乎其微。