研究者らは本日、BenchMIRTという手法を発表した。このツールは、大規模言語モデル（LLM）のベンチマーク結果を個別問題レベルで分析し、どの能力がスコアに影響を与えているかを明らかにする。

BenchMIRTは、心理測定学に基づく多次元IRT（MIRT）モデルを用い、100のLLMを、16の異なるベンチマークと34,000件以上の問題を含むデータセットで学習させた。分析の結果、安全性と一般的な推論という二つの主要次元が支配的であることが示された。たとえばBBQの問題は安全性よりも推論に強く関連し、WMDPは推論能力が高まるほど低いスコアになる。

この手法は、問題の難易度と識別力の指標を用いてモデル性能を79％の精度で予測できるが、対象は2025年3月までに公開されたモデルに限られ、使用するベンチマークセットに応じて抽出される次元は変動する。この点は、研究者がより焦点を絞った透明性の高い評価を設計できる一方で、安全性に関する問題を除外することによる悪用リスクも伴う。