Boostingの過学習とその回避

小野田 崇  

誌名
電子情報通信学会論文誌 D   Vol.J85-D2   No.5   pp.776-784
発行日: 2002/05/01
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 特集論文 (情報論的学習理論論文小特集)
専門分野: パターン認識
キーワード: 
AdaBoost,  過学習,  正則化,  margin,  サポートベクタマシン,  

本文: PDF(439.4KB)>>
論文を購入




あらまし: 
AdaBoostの有する高い汎化能力は,Support Vector Machineで導入されたmarginの概念を適用することで解明されている.しかしながら,この汎化能力の高さは,学習データ中に誤分類や非常に大きい雑音を含んだデータがない場合に限られるものである.誤分類や大きい雑音を含む場合,AdaBoostは高い汎化能力を実現できないことが実験的に示されている.また,これらの結果はmarginの改善という視点から,Schapireらの研究によって理論的な裏付けが行われている.本論文では,Schapireらの議論に基づき,AdaBoostの起こす過学習を避けるため,AdaBoostが最小化する目的関数に正則化項を導入した新たなアルゴリズムAdaBoostReg-Arc,-Boostを提案する.