通过高质量伪标签选择的半监督对话抽象摘要
计算与语言
2024-03-08 v1 人工智能
摘要
半监督对话摘要 (Semi-Supervised Dialogue Summarization, SSDS) 利用模型生成的摘要来减少对人工标注数据的依赖并提高摘要模型的性能。虽然在解决标签噪声方面，以往的半监督学习工作主要集中在自然语言理解任务上，假设每个样本都有唯一的标签，但这些方法并不直接适用于 SSDS，因为 SSDS 是一项生成式任务，且每段对话可以有不同的摘要方式。在本工作中，我们提出了一种新的评分方法 SiCF，该方法 encapsulates 了摘要模型质量的三个主要维度：语义不变性（指示模型置信度）、覆盖度（事实召回率）和忠实度（事实精确度）。利用 SiCF 分数，我们选择具有高质量生成摘要的未标注对话来训练摘要模型。在三个公共数据集上的综合实验证明了 SiCF 分数在对话摘要任务的不确定性估计和半监督学习中的有效性。我们的代码可在 \url{https://github.com/amazon-science/summarization-sicf-score} 获取。
引用
@article{arxiv.2403.04073,
title = {Semi-Supervised Dialogue Abstractive Summarization via High-Quality Pseudolabel Selection},
author = {Jianfeng He and Hang Su and Jason Cai and Igor Shalyminov and Hwanjun Song and Saab Mansour},
journal= {arXiv preprint arXiv:2403.04073},
year = {2024}
}
备注
21 pages, 10 figures