事前分布が異なる場合のMDL原理に基づく符号とベイズ符号の 符号長に関する解析

後藤 正幸  松嶋 敏泰  平澤 茂一  

誌名
電子情報通信学会論文誌 A   Vol.J82-A   No.5   pp.698-708
発行日: 1999/05/25
Online ISSN: 
DOI: 
Print ISSN: 0913-5707
論文種別: 論文
専門分野: 情報理論,符号理論
キーワード: 
ベイズ符号,  MDL原理,  情報源符号化,  事前分布,  

本文: PDF(345.7KB)>>
論文を購入




あらまし: 
J. Rissanenによって提案されたMDL(Minimum Description Length)原理は, 符号長を最小化する確率モデルを選択するという点で一種のモデル推定機構を備えている. 一方,確率モデルを特定せず, それらの混合をとって符号化関数を求めるのがベイズ符号である. MDL原理に基づく符号(MDL符号)はベイズ理論と関連深いことが既に指摘されているが, これは確率モデルの記述長の定義が暗に事前分布を仮定していることを意味するからである. 本論文ではそれぞれが異なる事前分布をもつ場合を含めて, MDL符号とベイズ符号の符号長の差異を漸近解析する. その結果, モデル族が離散の場合には真のモデルに高い事前分布を仮定した方(つまり, 有利な事前分布を仮定した方)の符号が優れるが, パラメトリックモデル族の場合には, MDL符号に有利な事前分布が仮定された場合でも, その差がある範囲内であれば, MDL符号よりベイズ符号の方が符号長が小さくなることを明らかとする.