CNN特徴量学習に基づく画像検索による食事画像カロリー量推定

會下 拓実  下田 和  柳井 啓司  

誌名
電子情報通信学会論文誌 D   Vol.J101-D   No.8   pp.1099-1109
発行日: 2018/08/01
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2017IUP0009
論文種別: 特集論文 (画像の認識・理解論文特集)
専門分野: 
キーワード: 
カロリー量推定,  食事画像認識,  CNN,  画像検索,  

本文: PDF(2.3MB)
>>論文を購入


あらまし: 
「食」に対する健康志向の高まりにより,健康的な食生活の支援を目的として日々の食事のカロリー量を記録するアプリケーションが登場している.このようなアプリにはユーザによって入力された情報からカロリー量を推定するものや,料理の写真を送ると栄養士の方がその画像からカロリー量を推定するものなどがある.これにより栄養学の知識のない一般ユーザのカロリー量記録が可能になったが,これらのカロリー量推定方法は人手による操作に手間がかかることや,栄養士が評価する場合はコストが掛かるためサービスが有料であるなどの問題がある.一方,画像認識分野ではConvolutional Neural Network (以下CNN)を用いた手法により,クラス分類や物体検出などの主なタスクの精度が飛躍的に向上しており,現在ではその応用技術が様々なアプリケーションに使用されている.また,CNNの中間層から得られる活性値は画像特徴量として高い表現力を獲得しており,このCNN特徴量に基づく画像検索手法は高い性能を示している.そこで本研究ではCNN特徴量に基づく画像検索による食事画像からのカロリー量推定を行う.また,より良い特徴表現の獲得のためにクラス分類学習や距離学習によるCNNの再学習を行う.我々は入力された料理画像に対してCNN特徴量に基づく類似画像検索を行い,検索された画像にアノテーションされたカロリー量から入力画像中の料理のカロリー量を推定する.先行研究としてBag-of-Featuresやカラーヒストグラムのような従来の画像特徴量を使用した画像検索に基づくカロリー量推定が提案されているが,本研究ではCNN特徴量を用いることでカロリー量推定の高精度化を図る.実験では,クラス分類学習と距離学習を行ったCNN特徴量を使用することで,通常のCNN特徴量による結果を大幅に上回るのみならず,単一CNNでの回帰学習を行った手法に比べても,カロリー量推定精度の向上が得られた.