评估直接偏好优化在德语自动文本简化中的效果：面向具有智力障碍者
计算与语言
2025-07-03 v1 人工智能
摘要
自动文本简化（ATS）旨在增强 various target groups 特别是具有智力障碍者的人的语言可访问性。近期大型语言模型（LLM）的进步显著提升了机器生成文本简化的质量，从而减轻了目标群体的信息障碍。然而，现有基于 LLM 的 ATS 系统在训练过程中未Incorporate 文本简化的偏好反馈，导致难以为目标群体代表定制化个人化。本文通过利用一种计算效率高的 LLM 对齐技术——直接偏好优化（DPO）——扩展了针对 LLM 基于 ATS 模型的标准监督微调（SFT）方法。具体而言，我们使用来自具有智力障碍者的人的反馈，对 LLM 基于 ATS 模型进行后训练，反映他们对由主流 LLM 生成的成对文本简化的偏好。此外，我们提出了开发面向 LLM 基于 ATS 系统的管道，涵盖数据收集、模型选择、SFT 和 DPO 后训练以及评估。我们的发现强调了在设计面向人类期望的个人化 AI 可访问解决方案时，目标群体人员的积极参与的必要性。这一工作代表了对目标群体层面个人化包容性 AI 系统的一步步推进，融合了来自文本简化专家以及目标群体人员本身的见解。
引用
@article{arxiv.2507.01479,
title = {Evaluating the Effectiveness of Direct Preference Optimization for Personalizing German Automatic Text Simplifications for Persons with Intellectual Disabilities},
author = {Yingqiang Gao and Kaede Johnson and David Froehlich and Luisa Carrer and Sarah Ebling},
journal= {arXiv preprint arXiv:2507.01479},
year = {2025}
}