BAMBI：为意大利语开发婴儿语言模型
计算与语言
2025-03-13 v1
摘要
本文提出了BAMBI（BAby language Models Boostrapped for Italian），一系列在模仿五岁意大利语儿童所接收的语言输入的数据上训练的婴儿语言模型（BabyLMs）。BAMBI模型使用专门设计的基准进行测试，该基准考虑了模型接收的训练输入量。BAMBI模型与大型语言模型（LLM）和多模态语言模型（VLM）进行了比较，以研究外语言信息对语言习得的贡献。我们的评估结果与现有的英语模型文献一致，确认虽然减少的训练数据支持相对稳健的句法能力的发展，但不足以培养语义理解。然而，BAMBI模型与LLM之间的训练资源（数据和计算）差距并未完全反映在它们的性能上：尽管LLM进行了大规模训练，其性能与BAMBI模型相比并没有好多少。这表明，除了扩大训练资源之外，数据整理、多模态输入的纳入以及其他训练策略（如课程学习）等策略可能在塑造模型性能方面发挥关键作用。
引用
@article{arxiv.2503.09481,
title = {BAMBI: Developing Baby Language Models for Italian},
author = {Alice Suozzi and Luca Capone and Gianluca E. Lebani and Alessandro Lenci},
journal= {arXiv preprint arXiv:2503.09481},
year = {2025}
}
备注
20 pages, 2 figures