多面向反事实学习用于内容质量评估
计算与语言
2024-10-11 v1
摘要
评估文档质量对于过滤大量信息中的有价值内容至关重要。传统方法通常依赖单一分数作为训练内容质量评估器的监督信号，这不足以区分在多个维度上具有质量差异的文档。本文提出了多面向反事实学习(MOLE)框架，用于高效构建感知内容质量评估多个维度的评估器。给定特定场景，我们引导大型语言模型生成在关键质量维度上具有变化的反事实内容。进而，我们基于对比学习和监督学习的联合训练策略，使评估器能够区分不同的质量维度，从而更准确地预测内容质量分数。跨不同场景的2个数据集上的实验结果表明，我们提出的MOLE框架有效提高了文档内容质量评估与人类判断之间的相关性，为有效信息获取提供了有价值的工具。
引用
@article{arxiv.2410.07693,
title = {Multi-Facet Counterfactual Learning for Content Quality Evaluation},
author = {Jiasheng Zheng and Hongyu Lin and Boxi Cao and Meng Liao and Yaojie Lu and Xianpei Han and Le Sun},
journal= {arXiv preprint arXiv:2410.07693},
year = {2024}
}