超线性瓶颈：基于样条的知识蒸馏用于文化多样化艺术风格分类
计算机视觉与模式识别
2025-08-01 v1
摘要
在计算美学中，艺术风格分类仍是一个巨大的挑战，主要因为缺乏专业标注数据集，以及风格元素之间复杂且常为非线性的相互作用。虽然最近的双教师自监督框架减少了对标注数据的依赖，但其线性投影层和局部关注在建模全局构图背景和复杂风格特征相互作用方面存在不足。我们增强了双教师知识蒸馏框架，以应对这些限制，方法是将常规的 MLP 投影和预测头替换为 Kolmogorov-Arnold 网络（KANs）。我们的做法保留了来自两个教师网络的互补指导：一个侧重于局部纹理和笔触模式，另一个捕捉更广泛的风格层次结构，同时利用 KANs 的样条激活函数，以数学精确度建模非线性特征相关性。实验在 WikiArt 和 Pandora18k 上表明，我们的方法在 Top-1 准确率上优于基线双教师架构。我们的发现凸显了 KANs 在分离复杂风格流形方面的重要性，带来了比 MLP 投影更好的线性探针准确率。
引用
@article{arxiv.2507.23436,
title = {Beyond Linear Bottlenecks: Spline-Based Knowledge Distillation for Culturally Diverse Art Style Classification},
author = {Abdellah Zakaria Sellam and Salah Eddine Bekhouche and Cosimo Distante and Abdelmalik Taleb-Ahmed},
journal= {arXiv preprint arXiv:2507.23436},
year = {2025}
}