面向阿拉伯语教育故事生成的噪声引导：提升多样性与阅读水平忠实度
计算与语言
2026-05-05 v2
摘要
生成多样化、符合教育规范的故事以满足阿拉伯语早期阅读评估的需求，需要在词汇、阅读水平和叙事结构等严格约束与避免重复情节（以免削弱评估有效性）之间取得平衡。我们研究噪声引导技术，通过在推理时注入对变换模型内部表示的校准的高斯扰动，作为一种无需训练的多样性方法，在五个小型阿拉伯语中心语言模型(7-9B参数)上进行评估。我们将四种注入策略与高温抽样基线进行比较，衡量多样性、质量、约束遵循情况以及阅读年级水平。残差流噪声始终以最小的质量或约束代价提高叙事多样性，并在所有阿拉伯语中心模型中保持早期阅读水平。注意力熵噪声注入(AENI)稳定了注意力-logit噪声不可靠的问题，同时恢复质量。高温抽样会膨胀阅读年级水平，并在几个模型上引起灾难性崩溃。我们发现内部表示层面的扰动比输出层的随机性更适合受约束的教育内容生成。
引用
@article{arxiv.2604.03380,
title = {Noise Steering for Controlled Text Generation: Improving Diversity and Reading-Level Fidelity in Arabic Educational Story Generation},
author = {Haziq Mohammad Khalid and Salsabeel Shapsough and Imran Zualkernan},
journal= {arXiv preprint arXiv:2604.03380},
year = {2026}
}
备注
Accepted to BEA @ ACL 26'