面向教学英语的大语言模型对齐：设计、开发与局限性
人机交互
2024-09-10 v1
摘要
本研究探讨了基于大语言模型（LLM）的聊天机器人用于教授英语对话的设计、开发与评估。该研究在英语作为外语（EFL）语境下进行。采用设计与开发研究（DDR）方法，我们分析了需求，确立了设计原则，并通过实验各种 LLM 和 alignment 方法不断迭代优化聊天机器人。通过定量和定性评估，我们识别出产生高质量、情境恰当响应的最有效 LLM 及其 prompt 组合。对教师的访谈提供了关于系统特征、潜在教育应用以及聊天机器人开发与部署中的伦理考虑的见解。设计迭代结果表明，反馈机制和可定制 AI 人格的重要性。未来研究应探索自适应反馈策略、与 various stakeholders 的协作方法，以及整合人机互动（HCI）和用户体验（UX）设计的见解。该研究为将 LLM 应用于语言教育提供了宝贵的研究成果，为在 EFL 语境下设计、开发和评估 LLM-based 聊天机器人用于英语对话练习提供了见解和建议。随着该领域的发展，持续的研究与教育者、AI 工程师及其他利益相关者之间的合作将是必不可少的，以充分发挥这些技术的潜力，提升语言学习体验。
引用
@article{arxiv.2409.04987,
title = {How to Align Large Language Models for Teaching English? Designing and Developing LLM based-Chatbot for Teaching English Conversation in EFL, Findings and Limitations},
author = {Jaekwon Park and Jiyoung Bae and Unggi Lee and Taekyung Ahn and Sookbun Lee and Dohee Kim and Aram Choi and Yeil Jeong and Jewoong Moon and Hyeoncheol Kim},
journal= {arXiv preprint arXiv:2409.04987},
year = {2024}
}
备注
56 pages