以意图阅读 —— 中和意图
计算与语言
2025-01-08 v1 人工智能
机器学习
摘要
大型语言模型 (LLM) 的查询可分为指令/问题与伴随上下文两个部分。检索增强生成 (RAG) 系统中大多数基准测试的上下文来自维基百科或维基百科式文本，采用中性且客观的语调。然而，当 RAG 系统检索互联网内容时，会遇到语调和语言风格多样化的文本，这给后续任务带来挑战。Reading with Intent 任务旨在评估不同语调的上下文段落对模型性能的影响。基于聚焦讽刺的先前工作，我们通过改进的合成数据生成方法构建了包含 11 种不同情感的上下文段落数据集。使用该数据集，我们训练情感翻译模型以系统性地将段落适应为指定情感语调。人类评估表明，针对情感翻译器进行微调的 LLM 从合成生成的数据中受益。最后，情感翻译器用于 Reading with Intent 任务中将段落转化为中性语调，通过中和段落可缓解讽刺段落带来的挑战，并使该任务整体结果提升约 3%。
引用
@article{arxiv.2501.03475,
title = {Reading with Intent -- Neutralizing Intent},
author = {Benjamin Reichman and Adar Avsian and Larry Heck},
journal= {arXiv preprint arXiv:2501.03475},
year = {2025}
}