Human Reader:人物像と音声による知的インタフェース

末永 康仁  間瀬 健二  福本 雅朗  渡部 保日児  

誌名
電子情報通信学会論文誌 D   Vol.J75-D2   No.2   pp.190-202
発行日: 1992/02/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 特集論文 (マルチメディアにおけるパターンの認識・生成技術論文小特集)
専門分野: 
キーワード: 
ヒューマンマシンインタフェース,  人物像,  音声,  マルチメディア,  

本文: PDF(1006.8KB)>>
論文を購入




あらまし: 
優れたインタフェースの実現のために,言語に加え,顔表情,ジェスチャ等の非言語メディアを利用するという概念は多く発表されているが,実際に動くシステムを組んで実験を行っている例は少ない.本論文では,複数メディアを利用するインタフェースの枠組み“Human Reader”を提案すると共に,その一部を実際に動くシステムとして実現し,実験を行った結果を報告する.まず視覚を利用する“Human Image Reader”の具体的サブシステムとして,頭部の動きを検出するHead Reader,および,手指の動きを検出するHand Readerをワークステーションの複合体の上に構成する.スクリーンの前に座った利用者の顔および手指の動作を正面,側面および上面に設置した3台の小型テレビカメラでとらえ,実時間画像処理を行うことによって頭部動作および手指動作を抽出理解すると共に,人間の声をマイクでとらえ,音声認識ユニットによって音声コマンドを認識する.また,画像生成サブシステムCG Secretaryによりグラフィックワークステーション上でさまざまな表情を有する顔画像をCGで生成し,音声と同期させてスクリーン上に表示することにより,人間とコンピュータのより自然なやりとりを助ける.Head Readerによるワークステーションのウィンドウ切換えとビデオメール操作およびHand Readerによる電子プレゼンテーションを実現し,それぞれ良好に動作することを確認した.