動的多層化ニューラルネットワーク

佐々木 駿也  萩原 将文  

誌名
電子情報通信学会論文誌 D   Vol.J102-D   No.3   pp.226-234
発行日: 2019/03/01
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2018JDP7045
論文種別: 論文
専門分野: バイオサイバネティックス,ニューロコンピューティング
キーワード: 
バックプロパゲーション,  貪欲法,  勾配消失問題,  

本文: PDF(1.2MB)
>>論文を購入


あらまし: 
本論文では動的に多層化するニューラルネットワークを提案する.ニューラルネットワーク(NN)は多層化されるほど微細な特徴抽出が可能になるといわれているが,勾配消失問題等が発生しやすくなる点が指摘されている.そこで,教師あり学習を用いて動的にNNを多層化する手法を提案する.動的に多層化する手法は幾つか考えられる.多くの試行の結果,中間層の削除と追加を繰り返し動的に多層化した場合に,性能が大きく向上することが確認された.この手法では入力に近い層は固定しつつ,出力に近い層でのみ学習を行うことで勾配消失の低減を図る.更に最終的な層数を自動決定することで,冗長な多層化を回避する.クラス分類タスクを用いて評価実験を行った結果,勾配消失を低減しつつ,最適な層数を自動で決定できることが確認された.