クラウドソーシングによる翻訳評価の分析

後藤 真介  林 冬惠  石田 亨  

誌名
電子情報通信学会論文誌 D   Vol.J97-D   No.7   pp.1158-1165
発行日: 2014/07/01
Online ISSN: 1881-0225
DOI: 
論文種別: 特集論文 (クラウド・サービスコンピューティング論文特集)
専門分野: 
キーワード: 
クラウドソーシング,  翻訳,  評価,  

本文: PDF(716.1KB)>>
論文を購入




あらまし: 
近年,機械翻訳サービスの増加により翻訳評価の需要が高まっている.しかし,これまで一般的に行われてきたバイリンガルの専門家による翻訳評価は時間的及び金銭的なコストが高くかかるという問題がある.本研究ではクラウドソーシングを用いた翻訳評価を提案する.クラウドソーシングはWeb上の不特定多数の作業者にタスクを依頼することで低価格かつ高速に作業を実行できるが,翻訳評価タスクは専門性を要するタスクであり,作業者にバイリンガル能力を要する翻訳タスクは実行されていない.そこで,クラウドソーシングを用いた翻訳評価に関する分析を行うために専門家の翻訳評価の用途に基づく三つの比較指標を定義し,各指標について専門家とクラウドソーシング作業者の評価を比較した.また,NTCIR-9 PATENTデータセットを用いた専門家と同じ手法による中英翻訳評価タスクの設計を行い,実際のクラウドソーシングプラットホームであるAmazon Mechanical Turk (AMT)において実験を行った.実験の結果,複数の原文からなる文書集合に対する機械翻訳システムの相対評価に関してクラウドソーシングが有用であることが示された.