基于分形原理的计算体系结构生成框架用于高级大语言模型分析
机器学习
2026-05-19 v4 计算机视觉与模式识别
摘要
本文提出了FractalNet，这是一个基于分形设计原则的框架，自动生成和评估基于卷积神经网络（CNN）体系结构。该框架不依赖计算昂贵的神经网络体系结构搜索（NAS）方法，而是通过递归模板模式系统性地变异关键参数（如分形深度、列宽和层配置）来探索结构化的体系结构空间。该框架由三个核心组件构成：一个生成器通过受控置换卷积、归一化、激活和 dropout 层来产生候选体系结构；分形模板模块强制执行递归多路径结构模式；runner 模块管理模型训练、评估和日志记录。使用该系统，自动生成并评估了超过1200个不同的 CNN 体系结构，这些体系结构在 CIFAR-10 图像分类基准上进行训练。使用带自动混合精度（AMP）和梯度检查点技术的随机梯度下降进行训练，以减少计算开销。实验结果表明，基于分形的体系结构在训练动力学上表现稳定，平均验证准确率达到60-70%，仅经过五个训练周期即可实现峰值准确率80.18%。这些发现表明，递归分形结构为在网络深度和宽度之间实现平衡，同时支持大规模自动化体系结构探索提供了有效手段。该提出的框架提供了一种资源高效且具有可解释性的系统神经网络体系结构实验方法。
引用
@article{arxiv.2511.07329,
title = {Preparation of Fractal-Inspired Computational Architectures for Advanced Large Language Model Analysis},
author = {Yash Mittal and Dmitry Ignatov and Radu Timofte},
journal= {arXiv preprint arXiv:2511.07329},
year = {2026}
}