双方向白色化ニューラルネットワーク

藤本 勇希  大平 徹  

誌名
電子情報通信学会論文誌 D   Vol.J101-D   No.1   pp.202-210
発行日: 2018/01/01
Online ISSN: 1881-0225
論文種別: 論文
専門分野: 人工知能,データマイニング
キーワード: 
ニューラルネットワーク,  最適化,  自然勾配降下法,  白色化,  

本文: PDF(571.5KB)
>>論文を購入


あらまし: 
多層パーセプトロンに対して効率的な自然勾配降下法を行うための,モデルとアルゴリズムについて提案する.自然勾配降下法とは,情報幾何の観点から提唱された,Riemann空間上の最急降下方向へ更新する方法である[1].その先行研究として,[2]による白色化ニューラルネットワークについて取り上げる.このモデルは,Fisher情報行列が単位行列となるように,順伝搬の値である各層の入力を白色化することによって,自然勾配降下法を近似的に実現するものである.そこで本論文では,先行研究[2],[3]を元に,順伝搬に対する白色化に加えて,逆伝搬に対する白色化を行うモデルとして,双方向白色化ニューラルネットワークを提案する.ここで,逆伝搬への白色化の拡張は,Fisher情報行列の近似式より得られる.本論文では,双方向白色化ニューラルネットワークとそのアルゴリズムの定式化を行い,MNISTデータセットに対する数値実験を行った.その結果,従来手法[2]とほとんど同じ計算量でありながら,より早く最適化が進むことが確認された.