面向增强多轮聊天交互的 Context-Aware BERT

Minghao Liu; Mingxiu Sui; Yi Nan; Cangqing Wang; Zhijie Zhou

面向增强多轮聊天交互的 Context-Aware BERT

计算与语言 2024-10-03 v2 人工智能

作者: Minghao Liu , Mingxiu Sui , Yi Nan , Cangqing Wang , Zhijie Zhou

摘要

自动化聊天系统的有效沟通取决于理解和响应上下文的能力。传统模型常常难以判断是否需要额外的上下文才能生成恰当的响应。本文提出一种Context-Aware BERT(CA-BERT),这是一种专为解决这一挑战而微调的基于Transformer的模型。CA-BERT创新性地应用深度学习技术来判别多轮聊天交互中是否需要上下文,从而提升响应的相关性和准确性。我们描述了CA-BERT的开发过程，该模型在BERT稳健架构基础上,采用以聊天对话为主题的专用数据集进行新颖的训练方案。该模型在上下文必要性分类任务上进行评估,相较于基线BERT模型在准确率和效率方面表现出优势。此外,CA-BERT的实现显著减少了训练时间和资源消耗,使其能够应用于实时应用。结果表明,CA-BERT能够有效提升聊天机器人功能,通过对上下文进行细致的理解,从而改善用户体验和交互质量。这一研究不仅推动了NLP在聊天应用领域的发展,还为未来探索对上下文敏感人工智能技术提供了框架。

关键词

Context-Aware BERT 多轮聊天 Transformer 上下文必要性分类聊天机器人

引用

@article{arxiv.2409.13701,
  title  = {CA-BERT: Leveraging Context Awareness for Enhanced Multi-Turn Chat Interaction},
  author = {Minghao Liu and Mingxiu Sui and Yi Nan and Cangqing Wang and Zhijie Zhou},
  journal= {arXiv preprint arXiv:2409.13701},
  year   = {2024}
}

备注

This paper has been accepted by ICBASE 2024

面向增强多轮聊天交互的 Context-Aware BERT

摘要

关键词

引用

备注

相关论文