机器学习中的算力鸿沟：对学术贡献与审查的威胁？
计算机与社会
2024-01-09 v2 人工智能
摘要
工业界与学术界人工智能实验室在计算资源使用程度上存在显著差异。我们提供了一项数据驱动的调查，探讨算力鸿沟在塑造机器学习研究中的作用。我们发现，算力鸿沟 coincide 与学术独立研究团队在计算密集型研究主题（尤其是基础模型）中的代表性降低相一致。我们认为，学术界在推进相关技术、提供关键评估与审查以及促进此类模型扩散方面的作用可能会缩小。伴随着研究焦点的这一变化，学术研究明显转向拥抱业界开发的开源预训练模型。为解决这一趋势带来的挑战，特别是对有影响力模型的审查减少，我们建议采取旨在审慎扩展学术见解的方法。国家资助的计算基础设施结合开放科学倡议，可以明智地提升学术算力访问，优先支持可解释性、安全性和安全性研究。结构化访问计划和第三方审计也可能允许对行业系统进行有节制的外部评估。
引用
@article{arxiv.2401.02452,
title = {The Compute Divide in Machine Learning: A Threat to Academic Contribution and Scrutiny?},
author = {Tamay Besiroglu and Sage Andrus Bergerson and Amelia Michael and Lennart Heim and Xueyun Luo and Neil Thompson},
journal= {arXiv preprint arXiv:2401.02452},
year = {2024}
}