并非所有 AI 问题都是数据问题：我们应在数据规模决策中更加刻意
机器学习
2025-06-04 v2 人工智能
摘要
尽管大型语言模型需要不断增加数据来训练和规模化，但我们不应盲目寻找任何数据来获取。我们应在数据获取中更加刻意地考虑哪些任务类型更可能从数据规模化中受益。我们认为，数据的形状——例如其组成和结构模式——不仅决定在数据规模化中应优先考虑哪些任务，还塑造了下一代计算范式的开发，这些任务在数据规模化效率低下，甚至在数据规模化不足以解决的情形下。
引用
@article{arxiv.2501.13779,
title = {Not Every AI Problem is a Data Problem: We Should Be Intentional About Data Scaling},
author = {Tanya Rodchenko and Natasha Noy and Nino Scherrer},
journal= {arXiv preprint arXiv:2501.13779},
year = {2025}
}