HMMを用いた自然な発話動画像合成

垣原　清次  中村　哲  鹿野　清宏  

誌名
電子情報通信学会論文誌 D   Vol.J83-D2   No.11   pp.2498-2506
発行日: 2000/11/25
Online ISSN: 
DOI: 
Print ISSN: 0915-1923
論文種別: 特集論文 (音声情報処理：現状と将来技術論文特集)
専門分野: 将来技術の応用：音声認識・理解・対話
キーワード: 
マルチモーダルインタフェース,  顔動画像合成,  音声同期,  隠れマルコフモデル,  主成分分析,  

本文: PDF(554KB)>>
論文を購入



あらまし: 
入力音声から音声と同期した自然で現実感のあるコミュニケーションが可能な顔動画像の合成法を提案している．コンピュータを介した人間のコミュニケーションをより自然な形で実現できれば，コンピュータと人間のコミュニケーションの幅を飛躍的に広げることが可能である．我々は，以前にいくつかHMMに基づく音声からの唇動画像合成法を提案しており，特に後続音素の口形素を考慮することにより飛躍的に自然さを増すことに成功している．更に本論文では，前後口形素を考慮した合成法を提案し，唇画像から顔3次元モデルへの拡張を行った．発話顔形状を生成するために，顔表面3次元計測点に主成分分析を行い，主成分に対応した顔形状をあらかじめ作成することにより，自然で滑らかな発話顔形状の合成を実現する．本手法により生成した発話動画像について，パラメータ生成誤差による評価と主観評価の結果，本手法により入力音声に対応した自然で滑らかな発話動画像が合成可能であることを確認した．