PyramidStyler：基于棱镜位置编码和强化学习的Transformer神经风格迁移
计算机视觉与模式识别
2025-10-03 v1 人工智能
摘要
神经风格迁移 (Neural Style Transfer, NST) 从 Gatys 等人 (2015) 的 CNN 模型发展而来，使得 AI 驱动的艺术图像合成成为可能。然而，现有的 CNN 和 transformer 模型在处理复杂风格和高分辨率输入时难以有效扩展。我们引入 PyramidStyler，一种包含棱镜位置编码 (Pyramidal Positional Encoding, PPE) 的 transformer 框架，该编码采用分层多尺度编码，既能捕获局部细节，又能理解全局上下文，同时降低计算负担。我们进一步引入强化学习，以动态优化风格化过程，加快收敛速度。在使用 Microsoft COCO 和 WikiArt 进行训练后，PyramidStyler 在 4000 个 epoch 后将内容损失降低 62.6%（至 2.07），风格损失降低 57.4%（至 0.86），推理速度达 1.39 秒；并在使用 RL 时进一步提升（内容 2.03；风格 0.75），仅增加 0.01 秒的开销。这些结果表明，PyramidStyler 能够实现实时高质量的艺术渲染，在媒体和设计领域具有广泛应用前景。
关键词
引用
@article{arxiv.2510.01715,
title = {PyramidStyler: Transformer-Based Neural Style Transfer with Pyramidal Positional Encoding and Reinforcement Learning},
author = {Raahul Krishna Durairaju and K. Saruladha},
journal= {arXiv preprint arXiv:2510.01715},
year = {2025}
}