Nebula: 一种具有话语感知能力的Minecraft建造者

Akshay Chaturvedi; Kate Thompson; Nicholas Asher

Nebula: 一种具有话语感知能力的Minecraft建造者

计算与语言 2024-10-10 v4 机器学习

作者: Akshay Chaturvedi , Kate Thompson , Nicholas Asher

摘要

在协作任务中，人类能有效利用对话的语义结构来优化言语和非言语交互。但在最近的“语言到代码”或“语言到动作”模型中，这一信息是缺失的。我们展示了如何将先前的话语和处于非语言环境中的对话的非语言语境结合起来，以改善此类交互中的“语言到动作”组件。我们微调了一个LLM，使其能基于先前的上下文预测动作；我们的模型Nebula在Jayannavar等人(2020)的这项任务上，将净动作F1分数相比基线提高了一倍。我们还使用一个合成数据集研究了模型构建形状和理解位置描述的能力。

关键词

话语感知模型语言到动作 Minecraft建造者 LLM微调非语言语境协作任务

引用

@article{arxiv.2406.18164,
  title  = {Nebula: A discourse aware Minecraft Builder},
  author = {Akshay Chaturvedi and Kate Thompson and Nicholas Asher},
  journal= {arXiv preprint arXiv:2406.18164},
  year   = {2024}
}

备注

EMNLP 2024 Findings

Nebula: 一种具有话语感知能力的Minecraft建造者

摘要

关键词

引用

备注

相关论文