HKT：面向神经网络中模块化遗传知识迁移的生物学启发框架
机器学习
2025-08-14 v1
摘要
神经网络研究中的一个主流趋势表明，模型性能随深度和容量的增加而提升——往往以牺牲可集成性和效率为代价。本文提出一种策略，通过增强其能力来优化小型可部署模型。我们引入遗传知识迁移（HKT），这是一种受生物继承机制启发的、用于从较大预训练父网络向较小子模型传递任务相关特征的模块化选择性迁移框架。不同于标准知识蒸馏强制模仿教师输出，HKT 借鉴了生物学继承机制（如计划虫中的记忆 RNA 转移）以指导多阶段特征迁移过程。神经网络模块被视为功能载体，知识通过三个受生物学启发的组成部分传递：提取（Extraction）、传输（Transfer）和混合（Mixture）。一种新颖的遗传注意力（Genetic Attention, GA）机制治理继承特征与本土表示的集成，确保两者的对齐与选择性。我们在多样化的视觉任务上评估了 HKT，包括光流估计（Sintel、KITTI）、图像分类（CIFAR-10）和语义分割（LiTS），结果表明它显著提升了子模型性能，同时保持其紧凑性。结果显示，HKT 在各类蒸馏方法中持续表现出色，为在资源受限环境中部署高性能神经网络提供了一种通用、可解释且可扩展的解决方案。
引用
@article{arxiv.2508.09743,
title = {HKT: A Biologically Inspired Framework for Modular Hereditary Knowledge Transfer in Neural Networks},
author = {Yanick Chistian Tchenko and Felix Mohr and Hicham Hadj Abdelkader and Hedi Tabia},
journal= {arXiv preprint arXiv:2508.09743},
year = {2025}
}