将“随意”作为锚点:解决形式迁移数据集中的监督对齐问题
计算与语言
2026-05-29 v1
摘要
形式迁移通常被框架化为在非正式和正式语料之间的双向对称任务。我们认为,这种框架掩盖了现有基准(如GYAFC)中监督设计缺陷的事实:二元人工改写编码的是相对风格偏移,而非绝对的人类形式感知。因此,模型会生成满足基准标签但无法产生真正正式语言的伪正式输出。我们通过在人类对齐的形式定义下重新评估基准形式标签,揭示了 substantial discrepancies,这些差异导致在多个模型家族中持续的非正式到正式失败。为解决此问题,我们将形式迁移重新概念化为一种分级维度,而非二元属性。我们引入三个层次的谱系:非正式、随意和正式,其中随意作为明确的中间状态可澄清监督信号。基于此框架,我们引入3LF,一个在所有三个层次上提供平行监督的数据集。训练3LF后,显著减少了非正式到正式的失败,提高了与人类感知的对齐。例如,GPT-4.1-nano在非正式到正式方向上的F1分数从0.06提升至0.88,尽管3LF的规模显著小于GYAFC。我们进一步表明,这些收益无法仅通过零样本学习实现,并提供了关于歧义驱动的错误和语义变形的定性分析。总体而言,我们的发现表明监督设计如何塑造风格对齐,并凸显了在可控文本生成中进行对齐感知基准构建的重要性。
引用
@article{arxiv.2605.29365,
title = {Casual as an Anchor: Resolving Supervision Misalignment in Formality Transfer Dataset},
author = {Hyojeong Yu and Hyukhun Koh and Minsung Kim and Kyomin Jung},
journal= {arXiv preprint arXiv:2605.29365},
year = {2026}
}
备注
HEAL@CHI 2026 Workshop Paper