面向大规模三元组数据的 in-context 语调风格迁移
计算机视觉与模式识别
2026-04-20 v1
摘要
语调风格迁移用于照片修饰旨�将参考图像的语调风格适应到给定的内容图像上。然而，缺乏高质量的大规模三元组数据集（包含风格化 ground truth）迫使现有方法依赖自监督或代理目标，这限制了模型能力。为缓解这一差距，我们设计了数据构建管道以构建 TST100K，一个包含 100,000 个内容-参考-风格化三元组的大规模数据集。本 pipeline 的核心是训练一个语调风格评分器，以确保每个三元组的严格语调一致性。此外，现有方法通常独立提取内容和参考特征，然后在解码器中融合，这可能导致语义损失并导致不恰当的颜色迁移和降低的视觉审美。相反，我们提出了 ICTone，一个基于扩散的框架，通过在 both images 上进行联合条件化来进行语调迁移，利用生成模型的语义先验进行语义感知的迁移。进一步地，利用语调风格评分器进行奖励反馈学习，以提高风格保真度和视觉质量。实验表明 TST100K 的有效性，ICTone 在定量指标和人类评估中均实现了最先进的性能。
引用
@article{arxiv.2604.16114,
title = {Towards In-Context Tone Style Transfer with A Large-Scale Triplet Dataset},
author = {Yuhai Deng and Huimin She and Wei Shen and Meng Li and Ruoxi Wu and Lunxi Yuan and Xiang Li},
journal= {arXiv preprint arXiv:2604.16114},
year = {2026}
}
备注
33 pages, 14 figures