TutorMomentsは、実際の一対一数学授業のトランスクリプトを基に開発された評価ツールである。経験豊富な数学教師がトランスクリプトを検証し、チューターが学生に支援すべきか手を引くべきかの瞬間を特定する。
続いて、AIモデルがこれらの瞬間に学生に対してどのように振る舞うべきかを決定する。結果は、AIモデルが概ね過度に支援し、学生に十分な挑戦を与えていないことを示す。
ただし、プロンプトにおけるトレードオフを明確にすると性能が向上する。
TutorMomentsは、AIチューターが学生に支援すべき時と手を引くべき時を測定する枠組みを提供する。
01TutorMomentsは、実際の一対一数学授業のトランスクリプトを基に開発された評価ツールである。経験豊富な数学教師がトランスクリプトを検証し、チューターが学生に支援すべきか手を引くべきかの瞬間を特定する。
続いて、AIモデルがこれらの瞬間に学生に対してどのように振る舞うべきかを決定する。結果は、AIモデルが概ね過度に支援し、学生に十分な挑戦を与えていないことを示す。
ただし、プロンプトにおけるトレードオフを明確にすると性能が向上する。