項目反応理論による小論文自動採点機のモデル平均

青見　樹  堤　瑛美子  宇都　雅輝  植野　真臣  

誌名
電子情報通信学会論文誌 D   Vol.J104-D    No.11    pp.784-795
発行日: 2021/11/01
早期公開日: 2021/07/20
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2021JDP7002
論文種別: 論文
専門分野: 教育工学
キーワード: 
項目反応理論,  パフォーマンス評価,  自動採点,  モデル平均,  

本文: PDF(3.8MB)>>
論文を購入


あらまし: 
小論文自動採点は，人間評価者に代わって自動採点モデルが小論文の採点を行う自然言語処理におけるタスクの一つである．近年では多くの自動採点モデルが提案されており，それぞれに異なった特徴を有している．本研究では，評価者特性を考慮した項目反応理論を用いて自動採点モデルのモデル平均を行う新たな手法を提案する．具体的には自動採点モデルを一人の評価者とみなして評価者特性を考慮した項目反応モデルを適用することで，それぞれの自動採点モデルの特徴を考慮した統合を行う．実験を通して，提案手法が単体の自動採点モデルや，単純な予測スコアの平均化手法と比べて予測精度を向上させることを示す．更に，提案手法が統合した自動採点モデルの特徴を捉え，安定したスコアの予測を行うことができることを示す．