抽象式摘要模型中定量值的探测
计算与语言
2022-10-04 v1
摘要
抽象式文本摘要近来成为一种流行方法，但数据幻觉仍是一个严重问题，包括涉及定量数据的情况。我们提出一组探测测试，以评估抽象式摘要模型对输入文本中定量值建模的有效性。我们的结果表明，在大多数情况下，近期 SOTA 性能模型的编码器相较于基线难以提供充分表示输入中定量值的嵌入，具体而言，它们在某些而非全部（令人惊讶地）情况下优于随机表示。在我们的假设下，这表明编码器的性能导致了数量幻觉问题。特别地，一种模型 DistilBART-CDM 在若干实验中表现劣于随机初始化表示，而相对于 BERT 的性能表明，摘要任务的标准预训练与微调方法可能是某些编码器表现不佳的原因。
引用
@article{arxiv.2210.00667,
title = {Probing of Quantitative Values in Abstractive Summarization Models},
author = {Nathan M. White},
journal= {arXiv preprint arXiv:2210.00667},
year = {2022}
}
备注
9 pages