探究万维网图像语义相关上下文信息的用户研究

本文研究了Web图像的上下文信息，以解决用语义描述符丰富其索引特征的问题，从而弥合语义鸿沟（即图像低层基于内容的描述与其语义解释之间的鸿沟）。尽管Web上丰富知识的可用性以及商业搜索引擎在使用网页中基于周围文本的信息进行图像索引方面取得的相对成功极大地激励了我们，但我们意识到，周围文本不可预测的质量是一个主要的限制因素。为了提高其质量，我们突出了与Web图像语义表征相关的上下文信息，并根据其位置和性质研究了其统计特性，同时将其分为五个语义概念类别：信号、对象、场景、抽象和关系。我们进行了一项用户研究来验证结果。结果表明，有几个位置始终包含与图像相关的文本信息。每个位置的重要性受网页类型的影响，因为结果显示不同网页类型在各位置上相关上下文信息的分布不同。最常见的语义概念类别是对象和抽象。用户研究的另一个重要结果表明，网页不是一个原子单元，可以进一步划分为更小的片段。包含图像的片段备受关注，被称为图像片段。我们观察到，用户通常从图像片段边界内的文本信息中挑选出他们认为与图像相关的文本信息。