2次学習アルゴリズムBPQによるリカレントネットワーク学習とガウス混合分布推定

斉藤 和巳  中野 良平  

誌名
電子情報通信学会論文誌 D   Vol.J81-D2   No.3   pp.538-546
発行日: 1998/03/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
ニューラルネット,  2次学習アルゴリズム,  リカレントネットワーク,  ガウス混合分布,  

本文: PDF(572.3KB)>>
論文を購入




あらまし: 
本論文では,2次学習アルゴリズムBPQ (Back propagation based on Partial Quasi-Newton)によるリカレントネットワーク学習とガウス混合分布推定について述べる.BPQは準ニュートン法をベースとし,探索方向を小記憶BFGSで計算し,最適探索幅を2次近似の最小点として効率良く計算することを特徴とする.リカレントネットワーク学習問題での実験では,その代表的な学習アルゴリズムBPTT (Back Propagation Through Time)やRTRL (Real-Time Recurrent Learning)と比較して,BPQは少ない計算量で高品質の解が求められ,その収束性も良いことを示す.また,ガウス混合分布推定問題での実験では,最ゆう推定法として広く採用されているEM (Expectation-Maximization)アルゴリズムと比較して,BPQは少ない計算量で同品質の解が求められ,その収束性も良いことを示す.