多層パーセプトロンの学習における中間層に付加したノイズの影響とネットワークの構造化

栗田 多喜夫  麻生 英樹  梅山 伸二  赤穂 昭太郎  細美 章隆  

誌名
電子情報通信学会論文誌 D   Vol.J79-D2   No.2   pp.257-266
発行日: 1996/02/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
多層パーセプトロン,  誤差逆伝搬学習法,  ノイズ,  構造化学習,  

本文: PDF(608.2KB)>>
論文を購入




あらまし: 
本論文では,多層パーセプトロンの中間層の各ユニットに独立なノイズを加えたとき,学習結果がどんな影響を受けるかについて考察し,ノイズを付加することによりネットワークが構造化されることを示す.具体的には,中間層が1層のみで,出力層の入出力関数が線形のネットワークの中間層の各ユニットに独立なノイズを加えた場合の誤差逆伝搬学習アルゴリズムの平均的な振舞いを解析し,中間層から出力層への結合荷重はより小さな値をとるようになり,逆に,入力層から出力層への結合荷重は中間層の出力が0か1に近づくようになることを示す.これは,中間層の各ユニットにノイズを付加することにより,ネットワークが自動的に構造化されることを意味している.その結果として間接的に汎化能力の高いネットワークが構成されることが期待でき,学習におけるノイズの役割として非常に興味深い.更に,パターン識別問題と論理関数の学習問題に対して,ノイズを加えて学習した場合とノイズを加えないで学習した場合を比較し,ノイズを加えることによりネットワークが構造化されることを実験的に確かめた.