论视觉属性对具体与抽象概念的解析之谜：变异性、最近邻数与具挑战性的类别
计算几何
2024-12-24 v3 数值分析
数值分析
摘要
概念的视觉表征在其含义和发生上下文的不同方面会有显著差异，这为视觉模型和多模态模型带来了多个挑战。我们的研究聚焦于具体性，这一已深入研究的词汇语义变量，借此案例研究检验概念视觉表征的变异性。我们依赖来自两个不同数据集（Bing 和 YFCC）的约 1000 个抽象和具体概念相关图像。我们的目标是：(i) 评估概念描绘中视觉多样性是否可靠地区分具体与抽象概念；(ii) 通过最近邻分析分析单个概念多个图像的视觉特征变异性；(iii) 通过对图像进行分类和注释来识别贡献于这种变异性的挑战性因素。我们的发现表明，对于分类抽象与具体概念的图像，基本视觉特征（如颜色和纹理）的组合比来自更复杂模型（如视觉转换器 ViT）提取的特征更有效。然而，ViT 在最近邻分析中表现更好，强调在通过非文本模式分析概念变量时需要仔细选择视觉特征。
引用
@article{arxiv.2410.11656,
title = {Fast and Robust Hexahedral Mesh Optimization via Augmented Lagrangian, L-BFGS, and Line Search},
author = {Hua Tong and Yongjie Jessica Zhang},
journal= {arXiv preprint arXiv:2410.11656},
year = {2024}
}