論述式試験における評点データと文章情報を活用した項目反応トピックモデル

宇都 雅輝  

誌名
電子情報通信学会論文誌 D   Vol.J102-D   No.8   pp.553-566
発行日: 2019/08/01
Online ISSN: 1881-0225
DOI: 10.14923/transinfj.2019JDP7007
論文種別: 論文
専門分野: 教育工学
キーワード: 
項目反応理論,  潜在ディリクレ配分法,  教師ありトピックモデル,  パフォーマンス評価,  論述式試験,  自動採点,  

本文: PDF(693.5KB)>>
論文を購入




あらまし: 
近年,論理的思考力や問題解決力などの高次の能力を測定する方法の一つとして論述式試験が注目されている.他方で論述式試験の問題として,得られる評点が課題の特性だけでなく評価者の特性にも依存し,これが受験者の能力測定の精度低下を引き起こす点が指摘されてきた.この問題を解決するために,評価者と課題の特性を表すパラメータを付与した項目反応モデルが近年多数提案されている.これらのモデルは,評価者と課題のバイアスを取り除いて能力を推定できるため,素点平均などの単純な得点化法より高精度な能力測定が実現できる.しかし,これらのモデルを用いても,個々の回答文を採点する評価者の数が少なくなると能力測定の精度が低下する問題が残る.本研究では,この問題を解決するために,評価者による評点データだけでなく,受験者が執筆した回答文の内容も能力測定に利用できる新たな項目反応モデルを提案する.具体的には,評価者と課題の特性を考慮した項目反応モデルと教師ありトピックモデルを統合し,トピックモデルによって推定される各回答文のトピック分布を受験者の能力推定値に反映できるモデルを開発する.提案モデルは,回答文あたりの評価者数の減少に伴う能力測定精度の低下を緩和できるだけでなく,評点が与えられていない回答文の得点や受験者の能力を文章情報のみから推定できる利点も有する.また,本論文では,マルコフ連鎖モンテカルロ法を用いた提案モデルのパラメータ推定手法を提案し,実データ実験により提案モデルの有効性を示す.