複数音声識別法による話者映像効果の分析

陳 躍  田村 博  渋谷 雄  伊藤 敦史  

誌名
電子情報通信学会論文誌 D   Vol.J77-D2   No.8   pp.1484-1491
発行日: 1994/08/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 特集論文 (マルチモーダルインタフェースと要素技術論文特集)
専門分野: マルチモーダルインタフェース
キーワード: 
単語識別,  映像提示,  読唇,  誤答分析,  

本文: PDF(585.1KB)>>
論文を購入




あらまし: 
マルチモーダルの研究において,映像と音声の統合利用は一つの重要な課題となっている.本論文では,被験者に対して左右耳に異なる単語音声を提示すると共に映像を提示して,複数単語音声の識別に話者映像提示の及ぼす影響について検討した.その結果,映像情報の提示によって映像に一致している単語の識別率が向上したが,映像に一致していない単語の識別率は低下した.これによって映像提示には,単語音声識別を促進する場合と阻害する場合があることがわかった.また,映像提示の効果は日本語の音韻によって違うこともわかった.更に,映像提示の効果を誤答分析によって説明した.最後に,音声と映像の統合利用における音韻知覚モデルを提案し,実験の結果によりこのモデルの妥当性を検証した.