基于 Transformer 的规则化聊天机器人表示

转换器可能如何执行流畅、自然的对话? 先前的工作通过构建方式展示了转换器如何解决各种合成任务，如排序列表或识别形式语言，但尚不清楚如何将这种方法扩展到对话设置。在本工作中，我们提出以 ELIZA 作为规则化聊天机器人的设定，用于 Transformer 化聊天机器人的形式、机制分析。ELIZA 允许我们形式化建模对话的关键方面，包括局部模式匹配和长期对话状态跟踪。我们首先提出构建一个实现 ELIZA 聊天机器人的 Transformer。基于先前的构建，特别是用于模拟有限状态自动机的构建，我们展示了如何组合和扩展更简单机制以产生更复杂的行为。接下来，我们对在合成生成的 ELIZA 对话中训练的 Transformer 进行一组经验分析。我们的分析说明了这些模型倾向于使用的机制--例如，模型倾向于选择感应头机制而非更精确、基于位置的复制机制;并且使用中间生成来模拟递归数据结构，类似于隐式的铰链链路或链路思考。总体而言，通过在神经聊天机器人和可解释、符号机制之间建立明确的联系，我们的结果为对话代理的机制分析提供了新的框架。