构建基于检索增强生成的聊天机器人：FACTS 框架
机器学习
2024-07-11 v1 计算与语言
摘要
受生成式 AI 支持的企业聊天机器人正成为提升员工生产力的关键应用。检索增强生成 (RAG)、大型语言模型 (LLM) 以及诸如 Langchain 和 Llamaindex 之类的编排框架是构建这些聊天机器人不可或缺的要素。然而，构建有效的企业聊天机器人颇具挑战性，需要精细的 RAG 管道工程，包括微调嵌入和 LLM、从向量数据库中提取文档、重新表述查询、重新排序结果、设计提示词、遵守文档访问控制、提供简洁的响应、包含参考文献、保护个人信息以及构建编排代理。我们基于与三家 NVIDIA 聊天机器人（针对 IT/HR 福利、财务业绩及通用内容）的经验，提出构建 RAG 基础聊天机器人的框架。我们的贡献有三方面：引入 FACTS 框架（Freshness, Architectures, Cost, Testing, Security），提出十五个 RAG 管道控制点，并提供大型与小型 LLM 在准确性与延迟之间的权衡的实证结果。据我们了解，这是首个提供全面视角以及构建安全企业级聊天机器人解决方案的论文。
引用
@article{arxiv.2407.07858,
title = {FACTS About Building Retrieval Augmented Generation-based Chatbots},
author = {Rama Akkiraju and Anbang Xu and Deepak Bora and Tan Yu and Lu An and Vishal Seth and Aaditya Shukla and Pritam Gundecha and Hridhay Mehta and Ashwin Jha and Prithvi Raj and Abhinav Balasubramanian and Murali Maram and Guru Muthusamy and Shivakesh Reddy Annepally and Sidney Knowles and Min Du and Nick Burnett and Sean Javiya and Ashok Marannan and Mamta Kumari and Surbhi Jha and Ethan Dereszenski and Anupam Chakraborty and Subhash Ranjan and Amina Terfai and Anoop Surya and Tracey Mercer and Vinodh Kumar Thanigachalam and Tamar Bar and Sanjana Krishnan and Samy Kilaru and Jasmine Jaksic and Nave Algarici and Jacob Liberman and Joey Conway and Sonu Nayyar and Justin Boitano},
journal= {arXiv preprint arXiv:2407.07858},
year = {2024}
}
备注
8 pages, 6 figures, 2 tables, Preprint submission to ACM CIKM 2024