解锁模型洞察:面向自动化模型卡片生成的数据集
计算与语言
2023-09-25 v1
摘要
语言模型(LMs)已不再局限于机器学习(ML)社区,指令微调的LMs引发了自主AI智能体的兴起。随着LMs可及性的提升,理解其能力、预期用途与开发周期也势在必行。模型卡片是记录ML模型详细信息的主流实践。为自动化生成模型卡片,我们引入了一个包含25个ML模型、500个问答对的数据集,涵盖模型训练配置、数据集、偏差、架构细节与训练资源等关键方面。我们雇佣标注者从原始论文中抽取答案。进一步,我们探索了LMs通过回答问题生成模型卡片的能力。使用ChatGPT-3.5、LLaMa和Galactica的初步实验表明,上述LMs在理解研究论文及生成事实性文本回复方面存在显著差距。我们认为该数据集可用于训练模型,从论文文本自动生成模型卡片,并减少模型卡片整理中的人力投入。完整数据集见https://osf.io/hqt7p/?view_only=3b9114e3904c4443bcd9f5c270158d37。
引用
@article{arxiv.2309.12616,
title = {Unlocking Model Insights: A Dataset for Automated Model Card Generation},
author = {Shruti Singh and Hitesh Lodwal and Husain Malwat and Rakesh Thakur and Mayank Singh},
journal= {arXiv preprint arXiv:2309.12616},
year = {2023}
}