Interactive DualChecker：在蒸馏大语言模型中缓解幻觉
摘要
大型语言模型（LLMs）在 various machine learning（ML）任务中展现了卓越的能力。鉴于 creating annotated datasets for supervised learning 的 high cost，LLMs 提供了一个 valuable 的 alternative，通过 few-shot in-context learning 实现 effective。然而，这些模型在 knowledge incomplete 的 domains 中容易产生 hallucinations。此外，current methods for knowledge distillation 使用 LLMs 时往往 struggle to enhance teacher 和 student 模型的 effectiveness。为此，我们引入 DualChecker，一种 innovative 的 framework，旨在 mitigate hallucinations 并 improve teacher 和 student 模型在 knowledge distillation 过程中的 performance。DualChecker 采用 ContextAligner 确保 teacher 提供的 context 与 human labeling 标准一致。它还 features a dynamic checker system 来 enhance model interaction：一个 component 在 teacher 表现 low confidence 时 re-prompts teacher 以获取更 detailed 内容，另一个 component 从 student 模型中识别 borderline cases 以 refine teaching templates。这种 interactive process promotes continuous improvement 和 effective knowledge transfer between models。我们使用包括 binary、multiclass 和 token classification tasks 的 green innovation textual dataset 评估了 DualChecker。实验结果表明，DualChecker 显著 outperform existing state-of-the-art methods，在 teacher 模型上实现最高可达 17% 的 F1 分数提升，在 student 模型上实现最高可达 10% 的提升。值得注意的是，even in a challenging domain，使用 LLM 预测进行 fine-tuning 的 student 模型的性能不逊于使用 actual data 的 student 模型。我们将本研究中的 all datasets、models 和 code 全部 public available。
关键词
引用
@article{arxiv.2408.12326,
title = {Interactive DualChecker for Mitigating Hallucinations in Distilling Large Language Models},
author = {Meiyun Wang and Masahiro Suzuki and Hiroki Sakaji and Kiyoshi Izumi},
journal= {arXiv preprint arXiv:2408.12326},
year = {2024}
}