中文

面向LLM中心的情感视觉定制:高效精准情感操控

计算机视觉与模式识别 2026-02-23 v1

摘要

先前的视觉定制研究主要依赖于各种控制信号(如语言、布局和canon)与编辑后图像之间的客观对齐,忽略了主观情感内容,更重要的是缺乏面向情感视觉定制的通用基础模型。为此,本文提出一种LLM中心的情感视觉定制(L-AVC)任务,旨在通过多模态LLM生成在修改其主观情感的图像。进一步地,本文认为如何使模型高效地对准编辑前后情感转换的语义(称为情感间语义转换)以及如何精确保留情感无关的内容(称为情感外语义保留)在该L-AVC任务中都极为重要且具有挑战性。为此,本文提出一种用于编辑图像主观情感的高效精准情感操控方法。具体而言,针对在编辑前后高效对准情感语义转换,设计了一个高效情感间转换(EIC)模块,随后是一个精准情感外保留(PER)模块,用于精确保留情感无关的内容。针对我们构建的L-AVC数据集进行的全面实验评估表明,所提出的EPEM方法在L-AVC任务上相对于多个最先进基准方法具有显著优势。这证明了情感信息对L-AVC任务的重要性以及EPEM在高效和精准操控此类信息方面的有效性。

关键词

引用

@article{arxiv.2602.18016,
  title  = {Towards LLM-centric Affective Visual Customization via Efficient and Precise Emotion Manipulating},
  author = {Jiamin Luo and Xuqian Gu and Jingjing Wang and Jiahong Lu},
  journal= {arXiv preprint arXiv:2602.18016},
  year   = {2026}
}