ETHER：为后见之明经验回放对齐涌现通信
计算与语言
2023-12-19 v2 人工智能
人机交互
摘要
自然语言指令跟随对于实现人工智能体与人类之间的协作至关重要。自然语言条件化的强化学习（RL）智能体已展示出自然语言的属性（如组合性）如何提供强归纳偏置以学习复杂策略。此前的架构如HIGhER将语言条件化的优势与后见之明经验回放（HER）相结合，以应对稀疏奖励环境。然而，与HER类似，HIGhER依赖一个预言谓词函数提供反馈信号，指明哪种语言描述对哪种状态有效。这种对预言的依赖限制了其应用。此外，HIGhER仅利用成功RL轨迹中包含的语言信息，从而损害了最终性能与数据效率。若无早期成功轨迹，HIGhER与其所基于的DQN无异。本文中，我们提出涌现文本后见之明经验回放（ETHER）智能体，它构建于HIGhER之上，并通过（i）一个判别性视觉指称游戏（常见于涌现通信（EC）子领域，此处用作无监督辅助任务）与（ii）一种语义接地方案（将涌现语言与指令跟随基准中的自然语言对齐）来解决其两个局限。我们展示指称游戏的智能体使一种人工语言涌现，该语言与BabyAI基准中用于描述目标的自然类语言相对齐，且具备足够表达力以描述不成功的RL轨迹，从而向RL智能体提供反馈以利用所有轨迹中包含的语言结构化信息。我们的工作表明EC是RL的一种可行无监督辅助任务，并提供了使HER更广泛应用所需的缺失环节。
引用
@article{arxiv.2307.15494,
title = {ETHER: Aligning Emergent Communication for Hindsight Experience Replay},
author = {Kevin Denamganaï and Daniel Hernandez and Ozan Vardal and Sondess Missaoui and James Alfred Walker},
journal= {arXiv preprint arXiv:2307.15494},
year = {2023}
}
备注
work in progress