TruthFlow：基于表征流校正的真实 LLM 生成
计算与语言
2025-02-10 v1 人工智能
机器学习
摘要
众所周知，大型语言模型（LLM）在持续生成真实响应方面存在困难。尽管已有多种表征干预技术被提出，但这些方法通常对所有输入查询应用统一的表征校正向量，限制了其在实际应用中对多样化查询的有效性。本研究引入了 TruthFlow，一种利用流匹配（Flow Matching）技术进行特定于查询的真实表征校正的新方法。具体而言，TruthFlow 首先使用流模型学习特定于查询的校正向量，将表征从幻觉状态转换为真实状态。随后，在推理过程中，训练好的流模型生成这些校正向量，以增强 LLM 输出的真实性。实验结果表明，TruthFlow 在 TruthfulQA 上评估的多种先进 LLM 的开放式生成任务中显著提升了性能。此外，训练好的 TruthFlow 模型展现出强大的可迁移性，在其他未见过的幻觉基准测试上也表现出色。
引用
@article{arxiv.2502.04556,
title = {TruthFlow: Truthful LLM Generation via Representation Flow Correction},
author = {Hanyu Wang and Bochuan Cao and Yuanpu Cao and Jinghui Chen},
journal= {arXiv preprint arXiv:2502.04556},
year = {2025}
}