DETECT：德语文本简化难易度与文本清晰度判定
计算与语言
2026-03-09 v2
摘要
当前德语自动文本简化（ATS）的评估依赖通用指标，如SARI、BLEU和BERTScore，这些指标不足以全面捕捉简化质量在简便性、意义保持和流畅性方面的表现。虽然针对英语已开发了专业指标如LENS，但针对德语的相应工作滞后于下，因缺乏人工标注语料库。为弥合这一差距，我们引入DETECT，这是首个针对德语的专用指标，能够全面评估ATS在简便性、意义保持和流畅性三个维度上的质量，且完全基于合成大型语言模型（LLM）响应进行训练。我们的methods 采用德语版LENS框架，并扩展了（i）通过LLMs生成合成质量评分的管道，实现无需人工标注的数据集创建；（ii）基于LLM的细化步骤，以确保评分标准符合简化要求。据我们了解，DETECT也是目前最大的德语人工评估语料库，用于文本简化验证。实验结果表明，DETECT在与人类判断相关性方面显著高于广泛使用的ATS指标，尤其在意义保持和流畅性方面取得了显著提升。除ATS外，我们的发现凸显了LLMs用于自动评估的潜力与局限，并为通用语言可及性任务提供可迁移的指导方针。
引用
@article{arxiv.2510.22212,
title = {DETECT: Determining Ease and Textual Clarity of German Text Simplifications},
author = {Maria Korobeynikova and Alessia Battisti and Lukas Fischer and Yingqiang Gao},
journal= {arXiv preprint arXiv:2510.22212},
year = {2026}
}