基于剪枝和量化的卷积神经网络压缩方法

简介：
本研究提出了一种结合剪枝与量化技术的创新算法，旨在高效压缩卷积神经网络，显著减少模型大小及计算需求，同时保持高精度。 随着深度学习的发展，卷积神经网络作为一种重要的算法被广泛应用在计算机视觉、自然语言处理及语音处理等领域，并取得了比传统方法更为优秀的成果。然而，由于其复杂的结构以及庞大的参数量和计算需求，许多应用需要依赖于高性能的GPU来进行运算，这使得卷积神经网络难以应用于资源有限且对实时性要求高的移动设备上。 为了应对这一挑战，本段落提出了一种通过优化卷积神经网络架构及权重来实现模型压缩的方法。具体而言，在去除冗余信息的同时保留关键连接的基础上进行剪枝操作，并利用量化感知训练（quantization-aware training）技术将浮点型的权重和激活值转换为定点数形式，从而有效地减少了计算量并缩小了模型尺寸。 实验是在TensorFlow深度学习框架下使用Ubuntu16.04操作系统及Spyder编译器中进行。结果显示，在对简单的LeNet模型压缩后（从1.64M降至0.36M），其大小被压缩到了原来的22%，并且准确率仅下降了0.016%；而对于轻量级的MobileNet模型，该算法实现了81%的比例缩减（即从16.9MB减少到3.1MB）的同时只牺牲了约0.03个百分点的精度。这些实验数据表明，在保证较小性能损失的情况下可以显著压缩卷积神经网络模型大小的问题已经被有效解决，并且这一解决方案能够帮助缓解将此类模型部署至移动设备时所面临的挑战。