ピアアセスメントにおける異質評価者に頑健な項目反応理論

宇都 雅輝  植野 真臣  

誌名
電子情報通信学会論文誌 D   Vol.J101-D   No.1   pp.211-224
発行日: 2018/01/01
Online ISSN: 1881-0225
論文種別: 論文
専門分野: 教育工学
キーワード: 
項目反応理論,  ピアアセスメント,  評価者特性,  異質評価者,  能力測定.,  

本文: PDF(967.9KB)
>>論文を購入


あらまし: 
近年,MOOCsに代表される大規模eラーニングの普及に伴い,ピアアセスメントを学習者の能力測定に用いるニーズが高まっている.一方で,ピアアセスメントによる能力測定の課題として,その測定精度が評価者の特性に強く依存する問題が指摘されてきた.この問題を解決する手法の一つとして,評価者特性パラメータを付与した項目反応モデルが近年多数提案されている.しかし,既存モデルでは,評価基準が他の評価者と極端に異なる“異質評価者”の特性を必ずしも表現できないため,異質評価者が存在する可能性があるピアアセスメントに適用したとき能力測定精度が低下する問題が残る.この問題を解決するために,本論文では,1)評価の厳しさ,2)一貫性,3)尺度範囲の制限,に対応する評価者特性パラメータを付与した新たな項目反応モデルを提案する.提案モデルの利点は次のとおりである.1)評価者の特性を柔軟に表現できるため,異質評価者の採点データに対するモデルのあてはまりを改善できる.2)異質評価者の影響を正確に能力測定値に反映できるため,異質評価者が存在するピアアセスメントにおいて,既存モデルより高精度な能力測定が期待できる.本論文では,シミュレーション実験と実データ実験から提案モデルの有効性を示す.