CNNにおけるReLU活性化関数に対するスパース正則化の適用と分析

井手 秀徳  栗田 多喜夫  

誌名
電子情報通信学会論文誌 D   Vol.J101-D   No.8   pp.1110-1119
発行日: 2018/08/01
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2017IUP0005
論文種別: 特集論文 (画像の認識・理解論文特集)
専門分野: 
キーワード: 
Convolutional Neural Network,  活性化関数の入力に対するスパース正則化,  ReLU活性化関数,  

本文: PDF(1.3MB)
>>論文を購入


あらまし: 
ReLU活性化関数は,その微分が消失しないことから,最急降下法に基づくパラメータの学習が効果的に行えることが知られており,Convolutional Neural Network (CNN)でも良く利用されている.しかし,学習が進むとReLUの出力が必要以上に大きくなってしまう傾向がある.ある層のあるニューロンの活性化関数の出力が大きくなると,それ以降の層に対してバイアスとして働き,Networkに悪影響を与えることが知られている.このことから,活性化関数の出力は平均0に近づけると汎化性能が向上することがわかっている.有名なものでは,L1正則化などの重みに対する正則化やBatch Normalization,ELUなどの活性化関数が知られている.本研究では,それらの代わりにReLU活性化関数の入力に対するスパース正則化を用いる手法を提案する.活性化関数の入力に対するスパース正則化は,学習の過程でReLU活性化関数の入力を0に近づける効果をもつ.これにより,ReLU活性化関数の欠点をある程度抑制することができ,特徴表現をスパースにすることができる.