Clever Geek Handbook

PSIとCSIは、モデルのパフォーマンスを監視するための最良の指標です。

ブログに掲載された記事の翻訳をdatascience.comに向けて提示します。

その作者であるJuhiRamzaiは、モデルチェックの効果的な方法であるPSI（人口安定性指数）とCSI（特性安定性指数）について話しました。



著者の画像提供



モデルが生産にリリースされた後、モデルが最新で信頼できることを確認するために定期的に監視する必要があります。以前、モデルの検証とそのパフォーマンスの監視に関する投稿を書きました。そこでは、これら2つのステップの重要性を強調しました。



それでは、この投稿のメイントピックに移りましょう。 PSI（人口安定性指数）とCSI（安定性特性指数）についてすべて学びます。これらは、多くの分野、特にクレジットリスク評価の分野で使用される最も重要な監視戦略の一部です。



これらの指標（PSIとCSI）はどちらも、人口分布の変化に焦点を当てています。



これらの指標の背後にある基本的な考え方は、予測モデルのトレーニングに使用されるデータが、経済状況、基礎となる仮定、キャンペーンスタイル、焦点、および等



たとえば、通常の経済環境におけるクレジットカードユーザーの解約率を予測するモデルを開発しました。その後、このモデルのテストを開始しましたが、すでに経済危機の状況にあります。この場合、モデルは正確な予測を生成しない可能性があります。これは、人口の分布がさまざまな所得セグメントで大幅に変化した可能性があるという事実を把握できないためです（これにより、実際のユーザーチャーンのレベルが高くなる可能性があります）。その結果、誤った予測が発生します。しかし、これはすでに理解しているので、開発時間（DEV時間）と現在の間の人口分布の変化のチェックに進むことができます。これにより、モデルの予測結果が信頼できるかどうかが明確にわかります。これは、重要なPSIおよびCSIモニタリングメトリックが示すものです。



人口安定指数（PSI）



このメトリックは、2つのサンプル間の分布が時間の経過とともにどの程度変化したかを測定します。これは、人口特性の変化を監視し、モデルのパフォーマンスに関する潜在的な問題を診断するために広く使用されています。人口分布の大幅な変化のためにモデルが正確な予測を行うのをやめた場合、これは多くの場合、良い指標です。



上記の定義は、この研究論文で最もよく説明されています。また、この投稿の最後にリンクを提供しました。



Population Stability Index（PSI）は元々、信用リスク評価におけるアドホック時間サンプルと開発時間サンプルの間の分布の変化を監視するために開発されました。現在、PSIインデックスの使用は本質的により柔軟になっており、従属および独立CSI変数を含むモデル属性と母集団全体に関連する両方の分布の変化を研究することができます。これについては、次のセクションで説明します。



PSIは、人口全体の変化の傾向を反映していますが、CSIは通常、使用される個々のモデル変数に焦点を合わせています。 人口分布の発生





源の



変化は、以下に関連している可能性があります。



  • 経済危機、COVID-19などの経済環境の変化に伴い。
  • データソースの変更。
  • 人口の分布に直接的または間接的に影響を与える国内政策の変更。
  • データエラーにつながる可能性のあるデータ統合の問題。
  • モデルの実装や、モデルの品質を評価するためのコード内のいくつかの重要なステップの欠落など、プログラミング/コーディングの問題。


分布の変化は従属変数の変化を伴う必要がないため、PSIを使用してサンプル間の類似性/相違性を調べることもできます。たとえば、社会人口統計学的研究において、2つ以上の集団の教育レベル、収入および健康状態を比較すること。



PSIインデックスを計算するための手順（リンク）



  1. 推定サンプルでは、​​推定変数を降順で並べ替えます。
  2. 10 20 ().
  3. .
  4. .
  5. 3 4.
  6. ( 3 / 4).
  7. 5 6.


EXCEL PSI:







()



  1. PSI < 0,1 — . .
  2. PSI >= 0,1, 0,2 — .
  3. PSI >= 0,2 — . . / .


条件付き書式範囲（赤、黄、緑のゾーン（赤-琥珀-緑のゾーン））を使用することもできます。赤はPSIが20％を超え、黄色は10〜20％で、モデルを監視する必要があるアラート状態です。緑は、モデルが使用可能と見なされる段階です。つまり、<十％。



現在、ユースケースに基づいて、これらのしきい値はビジネスの関連性に応じて調整されますが、考え方は同じです。つまり、人口の変化を追跡するためです。



安定性指数（CSI）



, . , , .



, .



モデルのパフォーマンスが低下した場合、モデル変数の分布の変化をチェックすると、考えられる原因を特定するのに役立ちます。原則として、これはチェック後に行われ、その結果、PSIインデックスはグリーンゾーンにないことが判明しました（全体で<0.1）。このようにして、どの変数が主に人口の分布を決定するかを確認できます。



1つの変数でも大幅に変更された場合、または複数の変数のパフォーマンスがわずかに変更された場合は、モデルを再トレーニングするか、別のモデルに置き換える時期が来ている可能性があります。



CSIを計算するときは、PSIを計算するときと同じ手順を実行します。唯一の違いは、特定の変数の設計段階からのサンプル値に基づいて決定が行われることです（それらを範囲に分割し、これらの値の制限をしきい値として設定することによって）。次に、検証/スケジュールされていない（OSS）サンプルの頻度値を計算するときに、データに同じしきい値を適用し、頻度値を計算します（PSIの計算に使用したのと同じ式を使用）。



CSIインデックスの優れた表





画像提供：著者



したがって、PSIは、集団の分布の違いが重要である場合、それらを全体として特定するのに役立ち、CSIは、それらをさらにいくつかの責任のある変数に絞り込むのに役立ちます。



研究リンク


More articles:


All Articles