KnowsLM：用于知识增强与人性化对话的小型语言模型评估框架
计算与语言
2025-04-15 v2
摘要
在对话 AI 不断演变的背景下，使用小型和中型语言模型（LLM）生成简洁、情境感知且具有人类风格的对话仍然是复杂的挑战。本研究探讨了 LoRA 秩、数据规模和提示前缀设计对知识保留与风格对齐影响。尽管微调可以提高流畅度并实现风格定制，但其整合未见知识的能力有限——特别是在较小数据集上。相比之下，采用检索增强生成（RAG）的模型能够在推理时整合外部文档，在分布之外的提示下展现出更强的事实准确性，但缺乏微调所达到的风格一致性。基于 LLM 评判器对知识准确性、对话质量和简洁性进行评估表明，微调最适合用于语气适应，而 RAG 在实时知识增强方面表现更佳。
引用
@article{arxiv.2504.04569,
title = {KnowsLM: A framework for evaluation of small language models for knowledge augmentation and humanised conversations},
author = {Chitranshu Harbola and Anupam Purwar},
journal= {arXiv preprint arXiv:2504.04569},
year = {2025}
}