开放域生成式聊天机器人的低资源适配
计算与语言
2022-04-11 v2 机器学习
摘要
近期构建开放域聊天机器人的工作表明，增大模型规模可提升性能。另一方面，延迟与连接性考量决定了数字助理向设备端迁移。赋予如 Siri、Alexa 或 Google Assistant 之类的数字助理讨论几乎任何事物的能力，导致需要缩减聊天机器人模型规模以适配用户设备。我们证明了低参数模型可在保留通用知识对话能力的同时在特定领域取得改进。此外，我们提出了一个通用框架，可处理问题类型的多样性、在多轮对话中追踪指代，并剔除不一致及潜在有毒的回复。我们的框架在闲聊与执行事务性任务间无缝切换，最终将使与数字助理的交互更趋人性化。我们在 1 个内部与 4 个公共基准数据集上，使用自动(困惑度)与人工(SSA——合理性与特异性均值)评价指标评估了框架，并在将模型参数减少 90% 的同时取得了可比性能。
引用
@article{arxiv.2108.06329,
title = {Low-Resource Adaptation of Open-Domain Generative Chatbots},
author = {Greyson Gerhard-Young and Raviteja Anantha and Srinivas Chappidi and Björn Hoffmeister},
journal= {arXiv preprint arXiv:2108.06329},
year = {2022}
}
备注
Accepted at ACL DialDoc 2022