lamBERT：基于多模态BERT的语言与动作学习
机器学习
2020-04-16 v1 计算与语言
机器学习
摘要
近来，基于Transformer的双向编码器表示(BERT)模型因其在语言理解相关任务中的高性能而在自然语言处理领域备受关注。BERT模型学习可通过无监督方式使用大型语料库进行预训练而适配于各类任务的语言表示。本研究提出基于多模态BERT的语言与动作学习(lamBERT)模型，该模型通过1)将BERT模型扩展至多模态表示以及2)将其与强化学习相集成来实现语言与动作的学习。为验证所提模型，在一个需要智能体正确理解语言以恰当行动的网格环境中进行了实验。结果表明，与其他模型(如基于卷积神经网络的模型以及未经预训练的lamBERT模型)相比，lamBERT模型在多任务设定与迁移设定中获得了更高的奖励。
引用
@article{arxiv.2004.07093,
title = {lamBERT: Language and Action Learning Using Multimodal BERT},
author = {Kazuki Miyazawa and Tatsuya Aoki and Takato Horii and Takayuki Nagai},
journal= {arXiv preprint arXiv:2004.07093},
year = {2020}
}
备注
8 pages, 9 figures