パターン認識用ニューラルネットの学習高速化手法

三谷 光照  木津 徳仁  大堀 隆文  渡辺 一央  

誌名
電子情報通信学会論文誌 D   Vol.J77-D2   No.1   pp.211-218
発行日: 1994/01/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
パターン認識,  ニューラルネット,  誤差逆伝搬法,  結合係数初期化,  学習停滞,  平衡化誤差,  高速学習法,  シミュレーション,  

本文: PDF(541KB)>>
論文を購入




あらまし: 
手書き漢字認識のシミュレーションを通して,パターン認識用3層ニューラルネットの学習高速化手法を提案し,効果を検証した.最初に,任意の特徴ベクトルからなる入力標本群を各ユニットの活性領域に再配置できる初期値修正法を示し,出力層ユニットjの学習パターンpに対する出力Ojpと教師信号tjpの2乗誤差1/2・Ojptjp2を用いる,従来の誤差逆伝搬法に適用した.その結果,学習初期に生じる停滞状態からの回復に時間を要し,初期値の設定のみでは学習特性を十分改善できないことがわかった.次に,この学習停滞は,ユニットjに割り当てられたtjp={1,0}のpに関する分布djtjp)が,大規模化に伴いdj(1)《dj(0)となり,学習初期にOjp0の非活性領域に偏移・集中するため,生じるものと推論した.最後に,文字ごとの学習パターン数が等しい場合,tjpに応じた係数ajp={J/2:tjp=1,J/(2・(J-1)):tjp=0}によって荷重された誤差1/2ajpOjptjp2に前記の初期値修正法を併用することにより,学習初期から,出力層と中間層の各ユニットの出力群が活性領域の中心から対称的に解離し始めるようになり,非常に高速かつ安定に学習動作を行わせ得ることを確認した.