Attention mapを介したDeep Neural Networkへの人の知見の組み込み

三津原 将弘
福井 宏
坂下 祐輔
緒方 貴紀
平川 翼
山下 隆義
藤吉 弘亘

誌名
電子情報通信学会論文誌 D   Vol.J104-D    No.11    pp.796-807
発行日: 2021/11/01
早期公開日: 2021/07/20
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2021JDP7006
論文種別: 論文
専門分野: 画像認識,コンピュータビジョン
キーワード: 
視覚的説明,  人間参加型,  Attention機構,  物体認識,  詳細画像識別,  

本文: PDF(65.6MB)>>
論文を購入



あらまし: 
深層学習をHuman in the loop (HITL)に組み込んでネットワークの出力を人手で適切に調整することは,膨大なパラメータをもつことから,困難とされている.本論文では,視覚的説明に用いられるAttention mapを介して,人の知見を深層学習に導入するための新しいフレームワークを提案する.我々は,Attention mapを人の知見により手動で修正して,Attention機構に応用することで認識結果を調整できる特性を発見した.この特性を応用して,人手で修正したAttention mapを用いてネットワークをファインチューニングする手法を提案する.提案手法は,出力されたAttention mapが人手で修正したAttention mapと対応するようにネットワークのパラメータを更新する.これにより,人の知見を考慮したAttention mapの出力と認識精度の向上が可能となる.評価実験では,提案手法による認識精度の向上と,人の知見を考慮した判断根拠のより明確なAttention mapの獲得が可能となることを示す.