YINYANG-ALIGN：基准测试矛盾目标并提出基于 DPO 的多目标优化用于文本到图像对齐
人工智能
2025-02-11 v2
摘要
文本到图像（T2I）系统中精准对齐对于确保生成图像既准确地封装用户意图，又符合严格的伦理和审美标准至关重要。谷歌 Gemini 事件即使产生误对齐输出引发了显著的公众反弹，凸显了对稳健对齐机制的关键需求。相比之下，大型语言模型（LLM）在对齐方面取得了显著的成功。基于这些进展，研究人员希望将类似的对齐技术，如直接偏好优化（DPO），应用于 T2I 系统，以增强图像生成的忠实度和可靠性。我们提出的YinYangAlign是一个先进的基准测试框架，系统量化 T2I 系统的对齐忠诚度，解决六个基本且内在矛盾的设计目标。每对目标代表图像生成中的根本性张力，例如，在用户提示遵循性与创造性修改之间，或在多样性与视觉连贯性之间保持平衡。YinYangAlign包括详细的公理数据集，包含人类提示、对齐（已选）响应、未对齐（被拒）AI 生成输出，以及解释这些根本矛盾背后的机制。
引用
@article{arxiv.2502.03512,
title = {YINYANG-ALIGN: Benchmarking Contradictory Objectives and Proposing Multi-Objective Optimization based DPO for Text-to-Image Alignment},
author = {Amitava Das and Yaswanth Narsupalli and Gurpreet Singh and Vinija Jain and Vasu Sharma and Suranjana Trivedy and Aman Chadha and Amit Sheth},
journal= {arXiv preprint arXiv:2502.03512},
year = {2025}
}