記述長最小規準と状態分割の立場から見た確率的規則の学習

鈴木 譲  

誌名
電子情報通信学会論文誌 A   Vol.J75-A   No.8   pp.1412-1421
発行日: 1992/08/25
Online ISSN: 
DOI: 
Print ISSN: 0913-5707
論文種別: 論文
専門分野: 情報理論,符号理論
キーワード: 
確率的規則,  記述長最小規準,  状態分割,  計算論的学習理論,  ユニバーサル符号化,  

本文: PDF(630.8KB)>>
論文を購入




あらまし: 
本論文では,記述長最小規準の適用を前提にした確率的規則の学習方法について議論している.ここで,モデルは確率的規則に確率パラメータを設定するための構造であり,従来は決定木,決定リストなどの個別の表現形式を前提としていた.確率パラメータは,設定されたモデルにおける各入力を前提にした各出力に対して設定される条件付き確率である.確率的規則の学習は,具体的な事実の系列から両者を推定する手続きで定義される.更に,記述長最小規準は,ある記述方法(言語)を前提にして現実に生起した事実の系列を最も短く記述することのできる説明を学習結果とする情報量規準で定義される.記述長最小規準を適用した既存の方法では,いずれも同じ学習対象でありながら,表現形式が異なるごとに任意に言語を設定し直すことを許容している.本論文では,状態分割なるモデルクラスを導入し,既存の個別の表現形式を統合している.状態分割では,モデルは確率的規則の前提部である入力空間の状態と結論部である出力空間の群の分割方法(状態分割)によって指定される.状態分割のモデルクラスは,入力空間の状態の数および出力空間の群の数が有限個に制限されるが,既存の個別の表現形式をほぼ含む一般的な形式になっている.更に,本論文では,与えられた規則集合の中で最大の冗長度を与えるものの最大値を最小にするための記述長の計算方法が与えられている.具体的には,状態分割における学習対象に含まれる最悪の規則についての冗長度の最小値と下界値との差が一定値以内になる言語が提示されている.