面向儿童的语言模型：早期见解与未来方向
计算与语言
2024-10-08 v1 人工智能
计算机与社会
人机交互
摘要
近期研究表明，大型语言模型在为儿童创建教育工具方面具有潜力，但在保持关键儿童特性(如语言细微差别、认知需求和安全标准)方面仍面临重大挑战。本文探索了发展儿童专用语言模型的基础步骤，强调高质量预训练数据的必要性。我们引入一种新型以用户为中心的数据收集管道，通过收集和验证专为儿童撰写甚至由儿童本人撰写的语料库。此外，我们提出了一种新的训练目标——分层遮蔽(Stratified Masking)，该目标基于我们领域特定的儿童语言数据动态调整遮蔽概率，使模型能够优先处理更适合儿童的词汇和概念。实验评估表明，我们的模型在理解较低年级文本方面表现出色，能够通过避免刻板印象来保持安全性，并捕捉到儿童的独特偏好。此外，我们为未来在儿童专用语言建模方面的研究与开发提供了可操作的见解。
引用
@article{arxiv.2410.03884,
title = {KidLM: Advancing Language Models for Children -- Early Insights and Future Directions},
author = {Mir Tafseer Nayeem and Davood Rafiei},
journal= {arXiv preprint arXiv:2410.03884},
year = {2024}
}
备注
Accepted to EMNLP 2024 (long, main)