階層型ニューラルネットワークにおける結合重みの非一意性とAIC

萩原 克幸  戸田 尚宏  臼井 支朗  

誌名
電子情報通信学会論文誌 D   Vol.J76-D2   No.9   pp.2058-2065
発行日: 1993/09/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
ネットワークの構造決定,  AIC,  結合重みの非一意性,  識別可能性,  非線形パラメータ,  

本文: PDF(580.4KB)>>
論文を購入




あらまし: 
階層型ニューラルネットワークの学習法としてバックプロパゲーションを用いる場合,ネットワーク構造が適切でないと,学習した入出力関係が獲得すべき入出力関係からずれてしまう.こうしたことから,情報量規準AIC(Akaike's Information Criterion)による構造決定が試みられているが,その有効性に関してAICの導出に立ち入った考察はなされていない.一方,最近,同じ出力を与える階層型ネットワークの結合重みは必ずしも一意性をもたないことが指摘されている.本論文では,3層階層型ネットワークを用いた非線形回帰モデルに対して,結合重みの非一意性のために,AICが導出できないことを示す.また,数値実験に基づき,3層階層型ネットワークを用いた非線形回帰モデルの複雑さに関して考察した.更に,AICを直接適用した場合,線形回帰モデルと比較して多めのパラメータ数(中間ユニット数)が選択される傾向にあることを数値的に確かめた.本論文の考察結果は,一般に,漸近展開による方法で構成された規準に対して,結合重みの非一意性が無視できないことを示したものである.ネットワークの構造決定規準を構成するためには,その統計的性質に関する考察がまだ不十分であるように思われる.