Altogether：通过重新对齐 alt-text 实现图像描述生成
计算机视觉与模式识别
2024-12-31 v3 计算与语言
摘要
本文聚焦于创建合成数据以提高图像描述质量。现有方法通常存在两个不足之处：其一，忽略了与图像关联的现有 alt-text metadata；其二，若 captioner 的训练数据(如GPT)未知，则缺乏透明度。本文研究一种原则方法Altogether，核心思想是编辑和重新对齐现有的 alt-text。为生成训练数据，我们进行人工标注，标注者从现有 alt-text 开始，并多轮对齐图像内容，构建包含丰富视觉概念的描述。与此不同，先前方法仅基于图像和标注者知识进行单次人工标注。我们在该数据上训练captioner，使其能够大规模地模拟重新对齐 alt-text 的过程。我们的结果表明，Altogether 方法生成的图像描述更丰富，同时也提升了文本到图像生成和零样本图像分类任务的性能。
引用
@article{arxiv.2410.17251,
title = {Altogether: Image Captioning via Re-aligning Alt-text},
author = {Hu Xu and Po-Yao Huang and Xiaoqing Ellen Tan and Ching-Feng Yeh and Jacob Kahn and Christine Jou and Gargi Ghosh and Omer Levy and Luke Zettlemoyer and Wen-tau Yih and Shang-Wen Li and Saining Xie and Christoph Feichtenhofer},
journal= {arXiv preprint arXiv:2410.17251},
year = {2024}
}
备注
accepted by EMNLP 2024; Meta CLIP 1.2 Data Engine