面向 AffectNet 人脸表情图像数据库的自适应结构深度信念网络蒸馏学习模型
计算机视觉与模式识别
2021-10-26 v1 神经与进化计算
摘要
深度学习具有层次化网络结构以表示输入模式的复杂特征。我们已开发了深度信念网络（DBN）的自适应结构学习方法，该方法通过神经元生成-湮灭算法在受限玻尔兹曼机（RBM）中为给定输入数据发现最优隐藏神经元数，并可获得 DBN 中合适的隐藏层数。本文将我们的模型应用于人脸表情图像数据集 AffectNet。该系统比传统 CNN 具有更高的分类能力。然而，由于人类情感包含许多模糊特征或模式，导致两名或更多标注者对同一人脸图像具有不同主观判断而给出错误答案，我们的模型未能正确分类部分测试用例。为刻画此类情况，本文研究了一种自适应 DBN 的蒸馏学习模型。原始训练模型可视为父模型，并针对部分误分类案例训练若干子模型。监测父模型与子模型之间的差异（KL 散度），并依据 KL 散度在父模型中生成若干合适的新神经元以提升分类精度。本文中，所提方法将分类准确率从 78.4% 提升至 91.3%。
引用
@article{arxiv.2110.12717,
title = {A Distillation Learning Model of Adaptive Structural Deep Belief Network for AffectNet: Facial Expression Image Database},
author = {Takumi Ichimura and Shin Kamada},
journal= {arXiv preprint arXiv:2110.12717},
year = {2021}
}
备注
6 pages, 8 figures, 020 9th International Congress on Advanced Applied Informatics (IIAI-AAI)