自然言語の指示による画像操作システム

品川 政太朗  吉野 幸一郎  サクティ サクリアニ  鈴木 優  中村 哲  
(MIRU2018推薦論文)

誌名
電子情報通信学会論文誌 D   Vol.J102-D   No.8   pp.514-529
発行日: 2019/08/01
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2018IUT0001
論文種別: 特集論文 (画像の認識・理解論文特集)
専門分野: 
キーワード: 
画像編集,  自然言語指示,  対話型システム,  敵対的学習,  

本文: PDF(2.1MB)>>
論文を購入




あらまし: 
自然言語から思い通りの画像を生成するシステムは,コンピュータによるデザイン作成支援に有用であると期待されている.本研究では,自然言語によってインタラクティブな画像編集を行うことを指向して,自然言語の指示によって直前にシステムからユーザへ共有された生成画像を操作することで,より意図に沿った画像を新たに生成するフレームワークを提案する.具体的には,修正元となる画像データをConvolutional neural networks (CNNs)によって埋め込んだベクトルと,画像に対する自然言語の修正指示文をLong short-term memory neural networks (LSTM)によって埋め込んだベクトルを入力とし,敵対的学習によって指示通りに修正された画像の生成を行う枠組みを提案した.実験では,手書き数字操作データセットを用いた単純なタスクにより,提案モデルが学習した画像編集タスクにおける振る舞いについて分析した.また,実際に人手で付与した指示文によってアバター画像を修正し,意図に沿った編集を行うことができることを確認した.