本文へ移动

冲电气开启您的梦想

プレスリリース

2019年9月9日

国立研究开発法人新エネルギー·产业技术総合开発机构
冲电気工业株式会社

ディープラーニングモデルの新たな軽量化技术を开発

高度なAIの小规模·省电力运用に期待,データ利活用社会の実现に贡献

国立研究开発法人新エネルギー·产业技术総合开発机构(NEDO)と冲电気工业株式会社(OKI)は,多様な分岐·合流のあるネットワーク构造を含むディープラーニング(深层学习)モデルにおいて,认识性能を维持しつつ,メモリー使用量や消费电力を低减する新たなモデル軽量化技术を开発しました。既存のベンチマークとされる高精度モデルに対し,认识精度の劣化を约1%に抑えつつ,演算量を约80%的削减することができました。

この技术により,エッジデバイスなど演算性能や电力消费に制限のある环境への高度な人工知能(AI)の搭载や,サーバー·クラウド环境における高度なAIの小规模·省电力运用などが期待できます。これによって,今后増加が见込まれる的IoTアプリケーションへの応用が可能なAI技术の开発が加速され,多様で高度なデータ利活用社会の実现への贡献が见込まれます。

1.概要

ディープラーニングは,画像や音声などの认识において优れた性能を有し,AI处理のアルゴリズムとしてクラウド上で多く活用されています。一方で,多层化により认识性能を向上させたディープラーニングモデル(以下,モデル)は,演算量·パラメーター(注1)が多く,大量の演算リソースや电力を必要とします。车载用途やスマートフォン,组み込み的IoTデバイスなど多様なエッジデバイス(注2)が登场する中,限られた演算リソース上でも高性能なモデルを高速·省电力に実行するために,モデルの軽量化技术が求められています。

軽量化技术としては,従来からチャネル(注3)·プルーニング(注4)という手法が提案されていました(図1)。これは,モデルの畳み込み层(注5)から冗长なチャネルを削减し,チャネルに关连する演算·パラメーター·メモリーを削减する技术です。しかし,従来手法は,削减率の设定を层ごとに行う必要があり手间がかかる上に,全体として最适な削减にならないという课题がありました。

こうした背景のもと,NEDOとはOKI,NEDO事业(注6)において,モデルの精度を维持しつつ演算リソースを削减するモデル軽量化技术の开発を目的としたAIエッジ技术の研究开発テーマを推进してきました。そして今般,OKI独自のチャネル·プルーニング技术であるPCAS(修剪频道有注意力静力学)(図2)を発展させ,新たなモデル軽量化技术を开発しました.PCAS技术は,チャネルの重要度推定にアテンション(注7)·モジュールを导入することで,认识性能の维持效果を高めつつ,层単位の削减率设定を不要とした技术です。层间に插入したアテンション·モジュールに后段の层への情报伝播を抑制する构造を持たせ,モデル全体の推论误差を最小化する学习を経ることで,全体最适による重要度推定を可能にします。今回开発した軽量化技术では,近年のモデル构造の多様性を考虑した新しいアーキテクチャにより重要なチャネルを自动选択することで,认识性能を维持しつつ,演算量を大幅に削减することに成功しました(図3)。

本技术开発により,エッジデバイスなど演算性能や电力消费に制限のある环境への高度なAIの搭载や,サーバー·クラウド环境における高度なAIの小规模·省电力运用などが期待できます。これによって,今后増加が见込まれる的IoTアプリケーションへの応用が可能なAI技术の开発が加速され,多様で高度なデータ利活用社会の実现への贡献が见込まれます。

なお,この成果については,英国カーディフ大学で9月9日から开催されるコンピュータービジョンと机械学习に关する国际学会「监查(英国机器视觉会议)2019」において,OKIが登坛し発表します。


図1 従来のチャネル・プルーニング手法によるチャネルの削減効果


図2 アテンションに基づくモデル軽量化技術PCAS

2.今回の成果

今回,NEDOとOKIが新たに开発した軽量化手法は,PCAS技术を発展させた近年の多様な分岐·合流経路を含むモデルに柔软に対応できるアーキテクチャです。モデル内の分岐経路では,経路ごとに认识性能に寄与する重要なチャネルが异なるため,その差异を吸收する必要があります。そこで,分岐部においては,単一のチャネルに対して复数のアテンション·モジュールを导入することにより,复数経路のチャネルの重要度を全体最适で推定します。さらに,経路ごとに异なるチャネル构成の不一致を整合する仕组みと,学习过程の详细な分析に基づく误差伝播(注8)量の制御方法を开発し,多様なモデルに対して认识性能を最大限に引き出すことに成功しました。

この技术を用いると,演算量の削减により,高速かつ低消费电力でAI处理を実行することが可能となります。测定の结果,ベンチマークとして一般的に用いられる高精度モデルへの适用においては,认识精度劣化を约1%に抑えながら,积和演算回数と处理时间をそれぞれ约80%削减しました。


図3 今回開発したモデル軽量化技術

3.今后の予定

NEDOとOKIは今后,今回开発した軽量化技术を低ビット演算环境にも适用し,さらなる高度化と高效率化に取り组むほか,大规模な认识モデルへの适用にも取り组み,高度なAIを軽量かつ省电力に実行できる技术の确立を目指します。

注釈

  • 注1:パラメーター

    ディープラーニングモデルは,演算用の多数の固定的なパラメーターを持ちます。代表的なパラメーターに重み系数があります。重み系数と入力データとの积和演算を行い,その结果を活性化关数で处理して出力することが,ニューラルネットワークの最も基本的な演算となります。

  • 注2:エッジデバイス

    利用者に近いネットワークの末端に位置するコンピューティング机器。クラウドやサーバーなどと比较し,利用できる电力や発热,演算能力などの制限が厳しい小型の机器です。

  • 注3:チャネル

    フィルターとの畳み込み演算の结果を保持するニューロンの集まりです。

  • 注4:プルーニング

    ニューラルネットワークのなかで冗长なニューロンを削减することで,それに关わる系数や演算を削减する技术です。枝刈り技术とも呼ばれます。

  • 注5:畳み込み层

    CNN(卷积神经网络)とも呼ばれる畳み込み演算を有するニューラルネットワークの构成要素です。一つの畳み​​込み层には复数のチャネルが含まれます。入力データ上に分布する空间的な特徴を保持した演算が可能です。

  • 注6:NEDO事业

    事业名:
    高效率·高速处理を可能とするAIチップ·次世代コンピューティングの技术开発/
    革新的AIエッジコンピューティング技术の开発/
    ソフトテンソルプロセッサによる超広范囲センシングAIエッジ技术の研究开発
    事业期间:2018年度〜2020年度

  • 注7:アテンション

    主に画像认识や自然言语认识などで,认识に重要な情报に着目するための手法として开発されてきたニューラルネットワーク技术です。

  • 注8:误差伝搬

    层から层へと误差を伝播することを误差伝播といいます。ニューラルネットワークの学习では,出力层における误差を推论とは逆方向の入力层に向かって伝播し,误差が小さくなる方向にパラメーターを调整します。

4.问い合わせ先

(本ニュースリリースの内容についての问い合わせ先)
NEDO IoT推進部
电话:044-520-5211
OKI 経営企画本部 広報部
电话:03-3501-3835
(その他NEDO事业についての一般的な问い合わせ先)
NEDO 広報部
电话:044-520-5151
  • 各リリースの记载内容は発表日现在のものです。その后予告なしに変更される场合がありますので,あらかじめご了承ください。

ページの先头へ

特别内容

      お问い合わせ

      お问い合わせ