面向深度神经网络(DNN)的模型压缩与轻量化方法研究综述
在17世纪,贝叶斯和拉普拉斯完成对最小二乘法的推导并提出马尔科夫链,这两个理论成为机器学习发展的基础理论。在1950年,艾伦∙图灵提议建立一个学习机器,之后机器学习进入飞速发展阶段。在1986年,深度学习被引入机器学习领域,为人工智能的发展提供了极大的动力支持。神经网络之父Hinton在该年提出的BP(Backpropagation)算法,采用的非线性映射函数应用于多层感知器解决了神经网络的非线性分类问题,又于2006年创新性地使用greedy layer-wise pretraining方法,采用堆叠自编码器的无监督训练获得局部最优初始化权值,然后与微调相结合使深层神经网络模型能够收敛,为推广神经网络做出重大贡献。