三思而后行：将语言推理与动作交织的统一策略
计算与语言
2023-04-24 v1 人工智能
摘要
以语言建模为目标训练的 transformer 模型所取得的成功，为强化学习框架带来了令人期待的机遇。Decision Transformer 是朝此方向迈出的一步，展示了如何在离线数据上以类似的下一步预测目标训练 transformer。该领域的另一重要进展是近期从互联网收集的大规模数据集的出现，例如由带字幕的教程视频组成、人们在其中讲述自己正在做什么的数据集。为利用这一语言成分，我们提出一种将语言推理与动作统一于单一策略中的新方法。具体而言，我们为 transformer 策略增加词输出，使其能生成与动作交织的文本字幕。在 BabyAI 中最具挑战性的任务上，使用描述下一子目标的字幕进行测试时，我们的推理策略始终优于无字幕基线。
引用
@article{arxiv.2304.11063,
title = {Think Before You Act: Unified Policy for Interleaving Language Reasoning with Actions},
author = {Lina Mezghani and Piotr Bojanowski and Karteek Alahari and Sainbayar Sukhbaatar},
journal= {arXiv preprint arXiv:2304.11063},
year = {2023}
}