ゲインを導入した誤差逆伝搬学習法の解析

賣 棋  戸田 尚宏  萩原 克幸  臼井 支朗  

誌名
電子情報通信学会論文誌 D   Vol.J77-D2   No.4   pp.850-857
発行日: 1994/04/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
誤差逆伝搬学習法,  ゲイン,  等価性,  特性超だ円,  

本文: PDF(514KB)
>>論文を購入


あらまし: 
誤差逆伝搬学習法の加速化法として,ゲインと呼ばれるパラメータを導入した手法がいくつか提案されている.しかし,こうした研究では,加速化効果についての数値的な評価しかなされておらず,学習過程に及ぼすゲインの影響についての理論的解析は行われていない.本論文では,これらの手法がゲインを導入していない手法によって実現できることを指摘し,統一的な観点からゲインの影響を詳細に解析した.その結果,定数ゲインを導入した誤差逆伝搬学習法はゲインを導入していない通常の誤差逆伝搬法に帰着でき,動的ゲインを導入した場合には,ゲインを導入していない最急こう配法およびモーメンタム法のいずれにも帰着できないことを明らかにした.更に,ゲインの振舞いを決定する特性超だ円の存在を指摘し,それに基づく解析により,動的ゲインを導入した手法の不安定性について理論的な根拠を与えた.本論文は,従来独立に扱われてきたゲインを導入した手法と導入していない手法を統一的に扱うことにより,ゲインの学習過程に与える影響を解析したものであり,将来における新しい学習法の開発に役立つものと考えられる.