機械学習におけるハイパパラメータ最適化手法:概要と特徴

尾崎 嘉彦  野村 将寛  大西 正輝  

誌名
電子情報通信学会論文誌 D   Vol.J103-D   No.9   pp.615-631
発行日: 2020/09/01
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2019JDR0003
論文種別: サーベイ論文
専門分野: 情報・システム基礎
キーワード: 
ハイパパラメータ最適化,  ブラックボックス最適化,  グレーボックス最適化,  機械学習,  

本文: FreePDF(2.7MB)


あらまし: 
ハイパパラメータ最適化は,機械学習モデルのチューニングを自動化するための実用的な技術である.本論文は,ハイパパラメータ最適化に関心のある周辺分野の研究者及び,それを実務に活用しようとするエンジニアに向けた,ハイパパラメータ最適化手法の実用に焦点を当てたサーベイである.本サーベイの目的は,ハイパパラメータ最適化手法を概説し,各手法のもつ特徴や適切な使い分けについて整理し,見通しの良い形で読者に知識を共有することである.本サーベイは,序章と終章を除いて四つの節から構成される.まずはじめに,2. においてハイパパラメータ最適化の基礎知識について解説する.その後,3. でハイパパラメータ最適化において標準的であるブラックボックス最適化,4. で近年のトレンドであるグレーボックス最適化について順に解説する.最後に,5. では逐次評価回数の上限値,並列計算リソース,ハイパパラメータの種類の観点から,状況ごとに個別に議論を行い,適切な最適化手法選択のガイドラインを与える.