PoE：面向广义自动对话评估的专家面板
计算与语言
2022-12-20 v1
摘要
聊天机器人被期望在多个领域具备知识，例如日常闲聊、信息交换以及情感场景中的共情。为了有效衡量此类对话智能体的质量，基于模型的自动对话评估指标（ADEM）被期望在多个领域表现良好。尽管取得了显著进展，但在一个领域表现良好的 ADEM 并不一定能泛化到另一个领域。这需要一种用于领域泛化的专用网络架构。为了解决多领域对话评估任务，我们提出了专家面板（PoE），这是一个多任务网络，由一个共享的 Transformer 编码器和一组轻量级适配器组成。共享编码器捕获跨领域的对话通用知识，而每个适配器专注于一个特定领域，充当领域专家。为了验证这一想法，我们利用数据增强和伪标签构建了一个高质量的多领域对话数据集。PoE 网络在涵盖广泛对话领域的 16 个对话评估数据集上进行了全面评估。它在所有评估数据集上的平均斯皮尔曼相关性方面达到了最先进的性能。与现有最先进的 ADEM 相比，它表现出更好的零样本泛化能力，并具备通过少样本迁移学习轻松适应新领域的能力。
引用
@article{arxiv.2212.08992,
title = {PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment},
author = {Chen Zhang and Luis Fernando D'Haro and Qiquan Zhang and Thomas Friedrichs and Haizhou Li},
journal= {arXiv preprint arXiv:2212.08992},
year = {2022}
}
备注
Currently under review at TASLP, upload to arxiv for easy cross-reference