CARE：基于 QLoRA 微调的多领域聊天机器人，可在最小硬件上快速学习
计算与语言
2025-03-19 v1 人工智能
摘要
大型语言模型在通过特定领域的数据集进行微调后，已展现出出色的领域特定问答能力。然而，微调这些模型需要大量的训练时间和相当数量的硬件。在这项工作中，我们提出了 CARE（Customer Assistance and Response Engine），这是一个通过在最少的硬件和数据上微调 Phi3.5-mini 而构建的轻量级模型，旨在主要处理三个领域的查询：电信支持、医疗支持和银行支持。对于电信和银行领域，该聊天机器人解决上述领域客户日常面临的问题和难题。在医疗领域，CARE 通过提供基本诊断和医疗建议来提供初步支持，用户在咨询医疗专业人员之前可以参考这些建议。由于 CARE 基于 Phi3.5-mini 构建，因此即使在移动设备上也可以使用，从而提高了其可用性。我们的研究还表明，CARE 在各种医学基准测试上表现相对较好，表明它可用于提供基本的医疗建议。
引用
@article{arxiv.2503.14136,
title = {CARE: A QLoRA-Fine Tuned Multi-Domain Chatbot With Fast Learning On Minimal Hardware},
author = {Ankit Dutta and Nabarup Ghosh and Ankush Chatterjee},
journal= {arXiv preprint arXiv:2503.14136},
year = {2025}
}