KL変換を実現する3層線形パーセプトロンの教師付き学習則―Baldi-Hornikの定理の拡張―

高橋　隆史
徳永　隆治
平井　有三

誌名
電子情報通信学会論文誌 D   Vol.J80-D2       pp.1267-1275
発行日: 1997/05/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 専門分野: バイオサイバネティックス，ニューロコンピューティング
キーワード: 
3層線形パーセプトロン,  KL変換,  教師付き学習,  Baldi-Hornikの定理,  

本文: PDF(483KB)>>
論文を購入


あらまし: 
誤差逆伝搬法による3層パーセプトロンの恒等写像学習能力について，（1）線形パーセプトロンがKarhunen-Loève（KL）変換と等価な変換を実現すること，および（2）シグモイド関数を用いた3層非線形パーセプトロンが線形パーセプトロンの能力を上回らないことが理論的に証明されている．しかし，どちらの場合も中間層素子の重みベクトルが直接KL基底に対応するわけではなく，それらの張る部分空間がKL基底のそれと一致するのみである．そのため，KL変換と異なり誤差減少に対する各成分の寄与の順が定まらず，各素子が獲得した内部表現の寄与について評価することはできない．本論文では，3層線形パーセプトロンの内部表現としてKL変換係数が獲得され，各中間層素子が寄与の大きいものから順に特徴抽出を行うことを可能にする学習則を提案し，これに対する理論的保証を与える．更に，5層非線形パーセプトロンによる恒等写像学習にこの学習則を適用した数値実験によって，非線形な特徴抽出が必要な場合にも有効であることを提示する．