SemiNFT:基于混合样本强化学习的从模仿到欣赏的 presets 迁移学习
计算机视觉与模式识别
2026-02-10 v1
摘要
逼真的色彩修饰在视觉内容创作中发挥着关键作用,但由于依赖专业技能,手动修饰仍不易被非专业人士访问。以参考图像为基础的方法通过将参考图像的调色板迁移到源图像上提供了可行的替代方案。然而,这些方法常以初学者身份运行,仅基于像素级统计量进行全局色彩映射,缺乏对语义上下文或人类审美的真正理解。为此,我们提出了 SemiNFT,一个基于 Diffusion Transformer (DiT) 的修饰框架,模拟人类艺术训练的轨迹:从刚性模仿到直观创作。具体而言,SemiNFT 首先通过配对三元组学习基本的结构保持和色彩映射技能,然后在无配对数据上进行强化学习,以培育细腻的审美感知。关键在于,在强化学习阶段,我们设计了混合在线-离线奖励机制,以结构审查为锚,防止旧技能的灾难性遗忘。实验表明,SemiNFT 不仅在标准的调色板迁移基准上超越了最先进的方法,还在零样本任务中展现出惊人的智能,如黑白照片上色和跨域 (anime-to-photo) 调色板迁移。这些结果表明,SemiNFT 超越了简单的统计匹配,实现了相当程度的审美理解。我们的项目可在 https://melanyyang.github.io/SemiNFT/ 访问。
关键词
引用
@article{arxiv.2602.08582,
title = {SemiNFT: Learning to Transfer Presets from Imitation to Appreciation via Hybrid-Sample Reinforcement Learning},
author = {Melany Yang and Yuhang Yu and Diwang Weng and Jinwei Chen and Wei Dong},
journal= {arXiv preprint arXiv:2602.08582},
year = {2026}
}