TorchOpera：面向 LLM 安全的复合型 AI 系统
人工智能
2024-10-29 v2 计算工程、金融与科学
计算与语言
多智能体系统
摘要
我们介绍 TorchOpera，这是一个用于提升大型语言模型（LLM）提示和响应安全性与质量的复合型 AI 系统。TorchOpera 确保所有用户提示都安全、情境导向且有效处理，同时提升 LLM 响应的相关性和质量。TorchOpera 使用向量数据库进行情境 grounding，采用基于规则的封装器以实现灵活的修改，并提供专门机制用于检测和调整不安全或不正确的内容。我们也展示了如何通过复合型 AI 系统来降低计算成本。大量实验表明，TorchOpera 在保持 LLM 响应效率的同时，确保了 LLM 在实际场景中的安全性、可靠性和适用性。
引用
@article{arxiv.2406.10847,
title = {TorchOpera: A Compound AI System for LLM Safety},
author = {Shanshan Han and Zijian Hu and Alay Dilipbhai Shah and Han Jin and Yuhang Yao and Dimitris Stripelis and Zhaozhuo Xu and Chaoyang He},
journal= {arXiv preprint arXiv:2406.10847},
year = {2024}
}