大语言时代的数据中心 AI
机器学习
2024-06-21 v1 计算与语言
摘要
本立场论文提出了以数据为中心的 AI 研究视角，聚焦于大语言模型 (LLM)。我们首先提出了一个关键观察：数据在发展阶段（如预训练和微调）和推理阶段（如情境学习）中发挥着重要作用，但却在研究社区中受到的关注相对不足。我们围绕数据识别出四个具体场景：数据中心基准测试和数据整理、数据归因、知识转移和推理情境化。在每个场景中，我们都强调了数据的重要性，概述了有前景的研究方向，并阐述了对研究社区乃至社会整体的潜在影响。例如，我们主张制定一套针对大语言模型数据规模和复杂度的专用数据中心基准测试。这些基准测试可用于开发新的数据整理方法，记录研究工作和结果，有助于促进 AI 和 LLM 研究中的开放性和透明度。
引用
@article{arxiv.2406.14473,
title = {Data-Centric AI in the Age of Large Language Models},
author = {Xinyi Xu and Zhaoxuan Wu and Rui Qiao and Arun Verma and Yao Shu and Jingtan Wang and Xinyuan Niu and Zhenfeng He and Jiangwei Chen and Zijian Zhou and Gregory Kang Ruey Lau and Hieu Dao and Lucas Agussurja and Rachael Hwee Ling Sim and Xiaoqiang Lin and Wenyang Hu and Zhongxiang Dai and Pang Wei Koh and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2406.14473},
year = {2024}
}
备注
Preprint