グラフの横軸方向に左から右へ、優先度元スコア(参照:優先度診断とは)の降順に並べた場合に、全合格者のどの程度の割合を捕捉できたかを折れ線上にプロットしたものです。
AIモデルの精度が全く出ていない場合(AUCが0.5の場合)、例えば優先度元スコア(参照:優先度診断とは)の上位20%(グラフの横軸方向に左から右へ1/5の地点)では、全合格者の20%しか捕捉できないことになるので、斜め45度の直線(下図黒点線)がプロットされます。
AIモデルの精度(AUCが0.6以上の場合)がそれよりも高く出ている場合、例えば優先度元スコア(参照:優先度診断とは)の上位20%(グラフの横軸方向に左から右へ1/5の地点)では、全合格者の20%よりも多く(下図の例では40%)を捕捉できることになり、斜め45度の直線よりも上側にプロットされる曲線が描かれることになります。
AIモデルの精度が最高値の場合(AUCが1.0の場合)、優先度元スコア(参照:優先度診断とは)が高い順に途中まで全て合格者であり、途中から全て不合格者となります。下図では、途中まで合格者を捕捉し続けることになるため、赤点線のようにプロットされます。
合否の参考にする際、主に以下のような考え方が可能です。
- 例1:問題なく活用できる例。AUCは極めて高い。★5・★4に合格者の90%以上が含まれている。
- 例2:活用が可能な例。AUCは高い~標準。★5から優先度が下がるに従い、含まれる合格率が減っていく。
- 例3:活用に注意が必要な例。AUCは標準~不十分。各優先度の合格率があまり変わらない。
- 例4:活用が難しい例。AUCは不十分。合格者を捕捉できていない。