用于交互式童话协同创作的多模态AI伙伴
多媒体
2021-12-02 v1
摘要
AI 童话伙伴作为家长努力的补充，在缩小参与差距和促进儿童心智与语言发展方面发挥着早期教育的重要作用。现有系统通常设计为提供生动素材作为单向娱乐阅读环境，例如将输入文本可视化。然而，由于儿童词汇有限，这些系统未能提供有效互动以激励儿童编写自己的童话。在本工作中，我们提出 AI.R Taletorium，一个具说明性、沉浸式和包容性的多模态 AI 伙伴，用于交互式童话协同创作，让儿童与 AI 代理及其普通同伴共同积极参与童话创作。AI.R Taletorium 由一个神经故事生成器和一个基于涂鸦的童话可视化器组成。我们设计了在故事生成器与配备对比语言图像预训练（CLIP）的可视化器之间的以角色为中心的双向连接机制，从而使儿童能够通过简单草图参与故事生成过程。大量实验与用户研究表明，我们的系统能够在有限训练数据下生成并可视化有意义且生动的童话，并通过双向连接在各种输入（文本、涂鸦）下完成完整交互循环。
引用
@article{arxiv.2112.00331,
title = {Mutltimodal AI Companion for Interactive Fairytale Co-creation},
author = {Ruiyang Liu and Predrag K. Nikolic},
journal= {arXiv preprint arXiv:2112.00331},
year = {2021}
}