Softmax Bottleneckの再解釈とそれを解消する出力関数の評価

金井 関利
藤原 靖宏
山中 友貴
足立 修一

誌名
電子情報通信学会論文誌 D   Vol.J103-D    No.6    pp.518-528
発行日: 2020/06/01
早期公開日: 2020/03/04
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2019JDP7063
論文種別: 論文
専門分野: 人工知能,データマイニング
キーワード: 
機械学習,  深層学習,  ニューラルネットワーク,  活性化関数,  表現能力,  

本文: PDF(842.7KB)>>
論文を購入



あらまし: 
softmaxは深層学習を使ったカテゴリカル分布のモデリングにおいて出力関数によく用いられている.しかし言語モデルのような出力の数が大きい対象をモデリングする際に,softmaxがニューラルネットワークの表現能力のボトルネックとなること(softmax bottleneck)が示されている.本研究は,このsoftmaxが表現能力のボトルネックになる原因をsoftmaxの対数の値域から調査し,softmax bottleneckを解消する出力関数の望ましい条件を提示し,それを満たす新たな関数sigsoftmaxを提案する.同様にsoftmax bottleneckを解消できる複数の出力関数とそれを混合した関数に対して,その性能を言語モデルの実験において評価する.結果としてsigsoftmaxがsoftmaxよりも性能が高く,sigsoftmaxを混合したmixture of sigsoftmaxが混合した出力関数の中で最も性能が高いことを示す.