過学習の理論

小川 英光  山崎 一孝  

誌名
電子情報通信学会論文誌 D   Vol.J76-D2   No.6   pp.1280-1288
発行日: 1993/06/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
層状神経回路網,  誤差逆伝搬法,  汎化,  過学習,  訓練データ,  

本文: PDF(605.5KB)>>
論文を購入




あらまし: 
階層型神経回路網の学習に誤差逆伝搬(BP法)を用いる場合に問題となっている過学習現象を論じる.BP法では,教えたことにだけ正しく答えればよいという評価基準が用いられる.しかし,学習結果を評価するときには,教えていないことにどれだけ正しく答えられるかという評価基準,すなわち,汎化能力という別の評価基準が用いられる.この一見矛盾した評価基準の変更は,BP法の評価基準が,汎化能力を考慮した本来の評価基準の代替として使われている,と解釈することによって説明がつく.本論文では,この二つの評価基準の関係から過学習の概念を厳密に定義する.それをもとに,本来の評価基準の代替評価基準に対する許容性の概念を導入し,過学習が生じる一般的な条件を明らかにする.この一般論を,具体的な評価基準に適用することにより,過学習が生じる必要十分条件を明らかにする.これらの条件は,過学習を起こさない訓練データの与え方も示している.