何为好的图像标题？

本文为图像标题生成建立形式化的信息论框架， 将标题概念化为选择性编码图像中语义单元的压缩语言表示。我们的框架认为，优质图像标题应在三个关键方面之间取得平衡：信息充分、最小冗余且易于被人类理解。通过将这些方面表述为可调权重的量化措施，我们的框架为在不同任务要求下分析和优化图像标题系统提供了灵活基础。为Demonstrate其适用性，我们引入金字塔标题 (Pyramid of Captions, PoCa) 方法，通过整合局部与全局视觉信息生成丰富的标题。我们提出了 PoCa 在特定假设下提升标题质量的理论证明，并展示了其在各种图像标题模型和数据集上的实际效果。