CNNを用いた姿勢特徴抽出と行動遷移を考慮した人物行動認識

工藤 雄太  指田 岳彦  青木 義満  

誌名
電子情報通信学会論文誌 D   Vol.J100-D   No.7   pp.681-691
発行日: 2017/07/01
Online ISSN: 1881-0225
論文種別: 論文
専門分野: 画像認識,コンピュータビジョン
キーワード: 
行動認識,  遷移推定,  CNN,  Long Short-Term Memory,  姿勢特徴,  遷移指数,  

本文: PDF(1.1MB)
>>論文を購入


あらまし: 
画像情報に基づく室内の人物行動認識は現在のコンピュータビジョンにおける重要課題の一つである.本論文では,高次元に抽象化した姿勢情報を入力として行動の連続性を考慮した学習を行うことで,撮影環境の変化に頑健で行動遷移時の時間ずれに強い行動認識手法を提案する.更に,行動認識時の各クラスの出力値を用いて行動遷移フレームを検出する手法を提案し,遷移フレーム間の行動を補完することで処理が難しい遷移中の行動の認識精度を向上させる.提案手法では,まずConvolutional Neural Networks (CNN)を用いて関節位置を学習した姿勢推定器を作成し,作成した推定器の中間構造から姿勢特徴抽出器を作成する.次に抽出器から得られた姿勢特徴を入力に,Long Short-Term Memory (LSTM)で行動を学習する.LSTMの学習時に行動の遷移回数を基準にした誤差伝播の打ち切りを行うことで,過学習を抑えながら適切な行動遷移を学習する.また,評価時にLSTMの出力をクラス間で正規化することで遷移指数を求め,その変化を捉えることで行動の遷移フレームを検出する.本手法はTUM Kitchen Data SetとWatch-n-patchを用いて精度を検証し,最高で80.9%の認識精度を実現した.これはCNNを用いた従来手法に比べて約7ポイントの精度向上を示す.また,行動遷移検出では15フレームの間に90%の遷移を捉えることに成功し,補完によって82.5%まで精度が向上した.