ObjMST：面向对象的多模态风格迁移框架
计算机视觉与模式识别
2025-03-07 v1
摘要
我们提出ObjMST，一种面向对象的多模态风格迁移框架，为显著对象和周围元素提供独立的风格监督，同时解决多模态表征学习中的对齐问题。现有图像-文本多模态风格迁移方法面临以下挑战：（1）生成非对齐且一致性不足的多模态风格表征；（2）内容不匹配，即对同一风格模式施加于显著对象及其周围元素。我们的方法通过以下方式缓解这些问题：（1）引入Style-Specific Masked Directional CLIP Loss，确保显著对象及其周围环境的风格表征在一致性和对齐方面达到一致；（2）融合显著对象到关键要素的映射机制进行风格化处理，随后进行图像和谐化，以无缝将风格化后的对象与其环境相融合。我们通过实验验证了ObjMST的有效性，采用定量指标和定性视觉评估所生成的风格化输出。我们的代码已公开：https://github.com/chandagrover/ObjMST。
引用
@article{arxiv.2503.04353,
title = {ObjMST: An Object-Focused Multimodal Style Transfer Framework},
author = {Chanda Grover Kamra and Indra Deep Mastan and Debayan Gupta},
journal= {arXiv preprint arXiv:2503.04353},
year = {2025}
}
备注
8 pages, 8 Figures, 3 Tables