CoUDA：基于统一数据增强的连贯性评估
计算与语言
2024-04-02 v1
摘要
连贯性评估旨在评估话语的组织与结构，这在大语言模型时代仍具挑战性。由于标注数据稀缺，数据增强常被用于训练连贯性评估模型。然而，以往针对该任务的增强主要依赖启发式规则，缺乏设计准则作为指导。在本文中，我们从话语结构的语言学理论中汲取灵感，提出了名为 CoUDA 的数据增强框架。CoUDA 将话语连贯性分解为全局与局部两个方面，并分别为两者设计了增强策略。特别是对于局部连贯性，我们提出了一种新颖的生成策略来构建增强样本，包括对生成模型进行后预训练，并应用两种控制机制来控制生成样本的难度。在推理阶段，CoUDA 还联合评估全局与局部两个方面，以全面评估话语的整体连贯性。大量连贯性评估实验表明，CoUDA 仅以 233M 参数便在逐点评分与成对排序任务中均达到了 SOTA 性能，甚至超越了近期基于 GPT-3.5 和 GPT-4 的指标。
引用
@article{arxiv.2404.00681,
title = {CoUDA: Coherence Evaluation via Unified Data Augmentation},
author = {Dawei Zhu and Wenhao Wu and Yifan Song and Fangwei Zhu and Ziqiang Cao and Sujian Li},
journal= {arXiv preprint arXiv:2404.00681},
year = {2024}
}
备注
NAACL 2024