大规模对话 AI 中基于自我感知反馈的自学习
计算与语言
2022-05-03 v1 人工智能
机器学习
摘要
大规模对话 AI 智能体中的自学习范式倾向于利用用户反馈来弥合其所言与所指之间的差距。然而，此类学习，尤其在基于 Markov 的查询重写系统中，远未解决这些模型对未来训练的影响，其中连续的反馈不可避免地依赖于重写本身，尤其在持续更新的环境中。在本文中，我们探究这种内在自我感知缺失对模型性能损害的后果，最终随时间导致 I 类与 II 类错误。为此，我们提出以基于叠加的邻接矩阵来增强 Markov 图构建。此处，我们的方法利用诱导随机性，在双变量 beta 设定下基于单个重写的表现反应式地学习局部自适应决策边界。我们还提出一种数据增强策略，利用基于模板的生成来精简对话的复杂对话层级，从而简化学习过程。总体而言，我们证明我们的自我感知模型将整体 PR-AUC 提升 27.45%，实现高达 31.22% 的相对缺陷减少，并能够更快适应大量客户中全局偏好的变化。
引用
@article{arxiv.2205.00029,
title = {Self-Aware Feedback-Based Self-Learning in Large-Scale Conversational AI},
author = {Pragaash Ponnusamy and Clint Solomon Mathialagan and Gustavo Aguilar and Chengyuan Ma and Chenlei Guo},
journal= {arXiv preprint arXiv:2205.00029},
year = {2022}
}