利用 LLM 生成的文本描述和跨模态共嵌入实现谷歌广告中的零样图纸审核
计算机视觉与模式识别
2024-12-24 v1 人工智能
信息检索
摘要
我们提出了一种面向谷歌广告图片内容审核的可扩展且敏捷的方法，旨在解决审核大量且内容多样、政策不断演变的广告所面临的挑战。该方法利用人类精选的文本描述和跨模态文本-图像共嵌入，实现对违规广告图片的零样分类，绕开对大量监督训练数据和人工标注的需求。通过利用大语言模型（LLM）和用户专家知识，系统生成并细化一套全面的文本描述，代表政策指南。在推理阶段，图像与文本描述之间的共嵌入相似度作为检测政策违规的可靠信号，从而实现高效且可适应的广告内容审核。评估结果表明，该框架在显著提升政策违规内容检测方面具有显著效果。
引用
@article{arxiv.2412.16215,
title = {Zero-Shot Image Moderation in Google Ads with LLM-Assisted Textual Descriptions and Cross-modal Co-embeddings},
author = {Enming Luo and Wei Qiao and Katie Warren and Jingxiang Li and Eric Xiao and Krishna Viswanathan and Yuan Wang and Yintao Liu and Jimin Li and Ariel Fuxman},
journal= {arXiv preprint arXiv:2412.16215},
year = {2024}
}