HRI-JPホーム > 研究活動 > 論文検索 > 量子化Deep Neural Network のための有界重みモデルに基づく音響モデル学習

研究活動

論文検索

Advanced Search

November 2016

量子化Deep Neural Network のための有界重みモデルに基づく音響モデル学習

  • 武田龍, 中臺一博, 駒谷和範,
  • in 人工知能学会 第46回 AI-Challenge 研究会,
  • 人工知能学会,
  • 2016,
  • pp. 2-11,
  • Conference paper

本研究では,Deep Neural Network (DNN) に基づく音響モデルの省メモリ化と高速化のため,パラメータを数ビットに量子化したDNN の構築を目指す.それには,1) 量子化に伴う認識誤りの低減と,2) 高速演算が可能な実装方法の開発,が必要である.1) に対しては,DNN の重みパラメータの正規化を,層単位ではなくノード単位に行う有界重みモデルに基づく学習アルゴリズムを提案する.2) に対しては,量子化した重みパラメータを索引に用いるルックアップテーブルを用いた実装方法を提案する.これらにより,少ないビット数でのパラメータ表現が可能となり,また,複数変数の高速な積和演算が実現できる.評価実験により,単語正解精度の低下を抑えて重みパラメータを2-bit まで量子化でき,DNN のフォワード計算を40% 高速化できることを確認した.

Search by Other Conditions

Keywords
Entry type
Years
to
Authors
Language
Refereed