InfoLossQA：表征与恢复文本简化中的信息损失
计算与语言
2024-06-05 v2
摘要
文本简化旨在使技术文本更易于非专业人士理解，但常常导致信息删除和模糊不清。本工作提出了 InfoLossQA，这是一个以问答（QA）对的形式来表征和恢复简化所导致的信息损失的框架。基于“讨论中的问题”理论，这些 QA 对旨在帮助读者加深对文本的理解。我们使用该框架进行了一系列实验。首先，我们收集了一个包含 1,000 个由语言学家策划的 QA 对的数据集，这些 QA 对源自 104 个医学研究科学摘要的 LLM 简化。对该数据的分析表明，信息损失频繁发生，并且 QA 对提供了关于哪些信息丢失的高层次概述。其次，我们为此任务设计了两种方法：开源和商业语言模型的端到端提示，以及一个自然语言推理流程。通过一个考虑 QA 对正确性及其语言适宜性的新颖评估框架，我们的专家评估表明，模型在可靠地识别信息损失以及应用与人类相似的标准来界定什么是信息损失方面存在困难。
引用
@article{arxiv.2401.16475,
title = {InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification},
author = {Jan Trienes and Sebastian Joseph and Jörg Schlötterer and Christin Seifert and Kyle Lo and Wei Xu and Byron C. Wallace and Junyi Jessy Li},
journal= {arXiv preprint arXiv:2401.16475},
year = {2024}
}
备注
Accepted at ACL 2024 (main conference)