BoschAI @ PLABA 2023：在端到端神经句子简化中利用编辑操作
计算与语言
2023-12-07 v2
摘要
自动简化可帮助外行理解复杂的科学文本。语言模型常通过从复杂语言翻译至简单语言来应用于该任务。本文描述我们基于Llama 2的系统，其在针对生物医学文本简化的PLABA共享任务中排名第一。我们发现输入与输出间大量共享词元导致微弱训练信号与保守编辑的模型。为缓解这些问题，我们提出句子级与词元级损失权重。它们分别依据编辑距离与编辑操作，对修改过的词元赋予更高权重。我们在PLABA数据集上开展实证评估，发现相比使用标准交叉熵微调的同一模型，两种方法均产生更接近人类标注者所创的简化结果（+1.8% / +3.5% SARI）、更简单的语言（-1 / -1.1 FKGL）及更多编辑（1.6倍 / 1.8倍编辑距离）。我们进一步表明，词元级损失权重中的超参数可用于控制编辑距离与简化水平（FKGL）。
引用
@article{arxiv.2311.01907,
title = {BoschAI @ PLABA 2023: Leveraging Edit Operations in End-to-End Neural Sentence Simplification},
author = {Valentin Knappich and Simon Razniewski and Annemarie Friedrich},
journal= {arXiv preprint arXiv:2311.01907},
year = {2023}
}