与Oompa Loompas对话：一种评估LLM智能体语言习得能力的新框架
计算与语言
2025-09-10 v1 人工智能
人机交互
机器学习
摘要
现有关于大型语言模型（LLM智能体）语言能力的评估研究主要集中在词汇学习、形态规则归纳、句法泛化、语用推理和跨语言迁移上。然而，没有一项研究评估LLM智能体是否能够通过模式识别和交互式反馈来习得一门语言，而这正是人类语言习得的一个核心特征。我们提出了一个新颖的实验框架，在该框架中，评估一个LLM智能体在与一个只理解Tinkatongue的机器人对话时，习得并使用一门新构建语言（Tinkatongue）的能力。我们的发现表明，LLM智能体未能在100次响应内建立对话，但它们采用了与人类语言学习方法相呼应的独特策略。这些结果为评估基准指明了新方向，并为能够更有效地从交互式反馈中学习的模型设计开辟了途径。
引用
@article{arxiv.2509.07389,
title = {Talking with Oompa Loompas: A novel framework for evaluating linguistic acquisition of LLM agents},
author = {Sankalp Tattwadarshi Swain and Anshika Krishnatray and Dhruv Kumar and Jagat Sesh Challa},
journal= {arXiv preprint arXiv:2509.07389},
year = {2025}
}
备注
Under review