カルバック情報量の分割による特異モデルの汎化誤差計算法

永田 賢二  渡辺 澄夫  

誌名
電子情報通信学会論文誌 D   Vol.J88-D2   No.6   pp.994-1002
発行日: 2005/06/01
Online ISSN: 
Print ISSN: 0915-1923
論文種別: 論文
専門分野: パターン認識
キーワード: 
特異モデル,  カルバック情報量,  確率的複雑さ,  汎化誤差,  

本文: PDF(703.5KB)
>>論文を購入


あらまし: 
神経回路網・混合正規分布・ベイズネットワーク・隠れマルコフモデル・ボルツマンマシンなど,情報学で広く用いられている学習モデルは,階層構造や隠れた変数をもつために,統計的正則モデルではないことが知られている.これらの学習モデルはフィッシャー情報行列の行列式が0になるパラメータを有するので特異モデルと総称されているが,汎化誤差の挙動が解明されていないため,応用において最適なモデル選択やモデル設計を行うための理論的な基礎が構成されていない.本論文では,特異モデルの汎化誤差を解明するために,カルバック情報量を分割することにより学習係数を計算する方法を提案し,その有用性を実験的に明らかにする.