Gated recurrent unitの局所安定化による勾配爆発の抑制

金井 関利  藤原 靖宏  岩村 相哲  足立 修一  

誌名
電子情報通信学会論文誌 D   Vol.J102-D   No.8   pp.530-541
発行日: 2019/08/01
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2018JDP7082
論文種別: 論文
専門分野: 人工知能,データマイニング
キーワード: 
機械学習,  深層学習,  Gated recurrent unit,  非線形動的システム,  

本文: PDF(922.9KB)>>
論文を購入




あらまし: 
本研究では,gated recurrent unit(GRU)の学習において勾配爆発を防止する学習法を提案する.GRUは,recurrent neural network(RNN)のモデル構造の一つであり,学習させることで時系列データの処理を高精度に行うことができる.しかしRNNでは学習に使用する勾配が急激に増大する勾配爆発という現象が生じるため,その学習は困難である.この勾配爆発は学習によって状態の挙動が大きく変化する分岐を起こすときに生じるため,本研究ではGRUの状態の挙動を解析し,分岐が生じないように局所的に安定に制約した学習法を提案する.そして実験として言語と音楽のモデリングを行い,提案法が既存法より効果的に勾配爆発を防げることを示す.