位置:365亚博 >ag亚博网站 >研究和发展>先进技术>深学习模式压缩


研究和发展

深学习模式压缩

背景

为了减少网络流量由于在预期与的IoT时代的到来数据的爆炸式增长,有必要对一个AI的技术优势,在之前的数据流入终端端部(边缘)处理来执行高速数据网络。虽然深学习备受关注的高精确度的AI技术,需要昂贵的硬件处理大量存储和计算成本的要求。因此,OKI是着眼于“模型的压缩技术”,其能够抑制即使用于深度学习神经网络的结构(模型)被降低的性能下降的R&d。该技术将最大限度地减少存储和计算成本的要求,从而降低硬件要求,并深学习技术的部署更加容易。

特征

称为信道修剪的方法,其中从一个神经网络中移除冗余的神经元,是OKI的深度学习模型的压缩技术的一个例子。为了执行修剪,需要标准来评估每个神经元组成模型的冗余度。尽管正在提出各种神经元的评价标准,如绝对重量的参数值和重建误差的总和陆续在领先的机器学习会议,OKI是基于其最新的研究开发自己的标准。例如,OKI已开发出确定和通过每层之间构建网络注意力估计和学习的神经元的重要性减少低重要性的神经元的方法。该方法成功地减少参数的数量和浮点运算由90.8%和79.4%,分别同时抑制被称为深学习模型的精确度劣化RESNET-50(* 1)到约1%(CIFAR-10(* 2):用于将图象数据设定识别基准测试结果)。利用这种技术,内存使用和计算成本可以降低,同时抑制精度劣化,使执行高精度和高速AI的上边缘侧可能的。

  • * 1缩写剩余网络,由开明,他在2015年设计了先进的提取,并通过复杂的分层特征的神经网络模型。
  • * 2一种图像数据集通常用于基准物体识别。

深学习模式压缩

  • 使用时注意网络计算神经元,使一个层的重要性
  • 降低低重要的神经元,大大降低了计算量,同时保持准确度

深学习模式压缩图像

返回页首