7月1日下午,由我校科技处、校科协主办,数学学院承办的“创新论坛”第一千二百五十九讲在长安校区举行。厦门大学南强特聘教授、国家杰出青年科学基金获得者纪荣嵘为师生作了题为“深度神经网络的压缩与加速研究”的学术报告。数学学院冷成财副教授主持报告,相关专业师生听取了报告。
纪荣嵘教授以深度神经网络的快速发展和压缩加速的持续热度为引入点,从量化、剪枝和知识蒸馏三个方面,通过生动具体的实例对研究内容展开深入介绍。参数量化可分为二值网络和基于训练的三值量化,纪荣嵘教授从理论原理到实际工作,详细阐述了二值化网络的优缺点及改进方法的核心思想。考虑三步迭代剪枝算法,将结构化剪枝看作一个结构优化问题,提出使用局部的启发式多部压缩算法以同时进行剪枝和分解操作。最后,纪荣嵘教授提出将知识蒸馏与生成对抗网络(GAN)相结合,以提高特征质量,弥补剪枝损失。
讲座结束后,纪荣嵘教授与在场师生进行了互动交流