基于图神经网络的结构化分层对话策略
计算与语言
2020-09-23 v1
摘要
面向复合任务（如多地餐厅预订）的对话策略训练是一个具有重要实际意义且富有挑战的问题。近来，分层深度强化学习（HDRL）方法在复合任务上取得了良好表现。然而，在朴素 HDRL 中，顶层与底层策略均由多层感知机（MLP）表示，将环境所有观测的拼接作为输入来预测动作。因此，传统 HDRL 方法常受限于低采样效率与弱迁移性。本文利用图神经网络（GNN）的灵活性解决这些问题，提出一种新颖的 ComNet 来建模分层智能体的结构。ComNet 在 PyDial 基准的复合任务上进行了测试。实验表明 ComNet 优于朴素 HDRL 系统，性能接近上界；其不仅实现采样高效，且在保持向其他复合任务迁移能力的同时对噪声更具鲁棒性。
引用
@article{arxiv.2009.10355,
title = {Structured Hierarchical Dialogue Policy with Graph Neural Networks},
author = {Zhi Chen and Xiaoyuan Liu and Lu Chen and Kai Yu},
journal= {arXiv preprint arXiv:2009.10355},
year = {2020}
}
备注
10 pages, 4 figures