雑音を考慮した過学習の理論

山崎 一孝  小川 英光  

誌名
電子情報通信学会論文誌 D   Vol.J76-D2   No.11   pp.2411-2418
発行日: 1993/11/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
層状神経回路網,  汎化,  過学習,  訓練データ,  ウィーナー学習,  

本文: PDF(534.6KB)>>
論文を購入




あらまし: 
階層型神経回路網の学習に誤差逆伝搬法(BP法)を用いる場合に過学習現象が問題になる.筆者らは文献(12)で,雑音を含まない訓練データが与えられた場合についてこの問題を論じ,過学習の原因が,汎化能力を考慮した評価基準を,BP法で用いられる記憶学習の評価基準で代替することにあることを明らかにした.そして,本来の評価基準と代替評価基準の関係を用いて,過学習の概念を厳密に定義し,過学習が生じる一般的な条件を明らかにした.本論文では,この一般論を,雑音を含んだ訓練データが与えられた場合にも適用できることを示す.まず記憶学習の概念を雑音を含んだ訓練データが与えられたときに,そのとおりに答えようとする機械的記憶学習に拡張する.そしてこの評価基準が,ウィーナーの評価基準の代替として用いられる場合を論じ,通学習が生じるための必要十分条件を明らかにする.これらの条件は,過学習を起こさない訓練データの与え方も示している.