于稀有处寻美：面向非平凡裁剪框回归的对比组合特征聚类
计算机视觉与模式识别
2023-02-20 v1
摘要
自动图像裁剪算法旨在通过生成组合质量提升的裁剪框，像人类摄影师一样重新构图图像。裁剪框回归方法从标注裁剪框中学习组合之美。然而，标注偏差导致准平凡的重组结果，其明显倾向于训练样本的平均位置。这一困境的关键在于该任务被朴素地视为框回归问题，其中稀有样本可能被正常样本主导，且稀有样本的组合模式未被充分挖掘。观察到相近标注的裁剪边界往往共享相似组合模式，我们认为应通过聚类具有相似裁剪边界标注（即相似组合模式）的样本，从稀有样本中发掘组合之美。我们提出一种新颖的对比组合聚类（C2C），通过对比动态建立的相似与不相似对来正则化组合特征。如此，多幅图像的常见组合模式可得以更好概括，尤其有益于稀有样本，并赋予模型更好的泛化能力以生成非平凡结果。大量实验结果表明了我们的模型相对于现有方法的优越性。我们还通过一个有趣的分析可视化阐释了设计理念。
引用
@article{arxiv.2302.08662,
title = {Find Beauty in the Rare: Contrastive Composition Feature Clustering for Nontrivial Cropping Box Regression},
author = {Zhiyu Pan and Yinpeng Chen and Jiale Zhang and Hao Lu and Zhiguo Cao and Weicai Zhong},
journal= {arXiv preprint arXiv:2302.08662},
year = {2023}
}
备注
Accepted to AAAI 2023 (Oral); 9 pages, 6 figures