它的作者Juhi Ramzai谈到了模型检查的有效方法-PSI（人口稳定性指数）和CSI（特征稳定性指数）。
模型提供的图片供模型使用后，应定期对其进行监视，以确保模型仍是最新且可靠的。之前，我写了一篇关于模型验证和性能监视的文章，其中强调了这两个步骤的重要性。
现在，让我们继续本文的主题。我们将学习有关PSI（人口稳定性指数）和CSI（稳定性特征指数）的所有知识，这是许多领域中使用的一些最重要的监测策略，尤其是在信用风险评估领域。
这两个指标（PSI和CSI）都关注人口分布的变化。
这些指标背后的基本思想是，在经济状况，基本假设，广告系列，重点和等等
例如，我们开发了一个模型来预测正常经济环境下信用卡用户的流失率。然后，我们开始测试此模型，但已经在经济危机的情况下进行了测试。在这种情况下，该模型有可能无法产生准确的预测，因为它无法捕获以下事实：在不同的收入群体中人口分布可能发生了重大变化（这可能导致较高的实际用户流失率）。结果，我们得到了错误的预测。但是，由于我们现在已经了解了这一点，因此我们可以继续检查开发时间（DEV时间）和当前时间之间的人口分布变化。这将使我们对是否可以依赖模型预测结果有一个清晰的认识。这正是重要的PSI和CSI监控指标所显示的。
人口稳定指数（PSI）
此度量标准衡量变量随时间在两个样本之间的分布变化了多少。它被广泛用于监视人口特征的变化并诊断模型性能的潜在问题。如果模型由于人口分布的重大变化而停止做出准确的预测，那么这通常是一个很好的指标。
以上定义在本研究论文中得到了最好的解释。在这篇文章的结尾，我还提供了指向它的链接。
人口稳定性指数（PSI）最初是为了监视信用风险评估中临时样本与开发时间样本之间的分布变化而开发的。当前，PSI索引的使用在本质上已经变得更加灵活，这使人们可以研究与模型属性和总体（包括因变量和独立CSI变量）有关的总体分布的变化。我们将在下一部分中对此进行讨论。
PSI反映了总体人口变化的趋势，而CSI通常关注使用的各个模型变量。 人口分布的
来源
变化可能与以下方面有关：
- 随着经济环境的变化，例如经济危机，COVID-19等；
- 数据来源的变化；
- 直接或间接影响人口分布的国内政策变化；
- 可能导致数据错误的数据集成问题；
- 编程/编码问题，例如实现模型或缺少代码中评估模型质量的一些重要步骤。
由于分布的变化不必伴随因变量的变化，因此PSI也可以用于检查任何样本之间的相似性/差异。例如，在社会人口统计学研究中比较两个或两个以上人口的教育水平，收入和健康状况。
计算PSI索引的步骤（链接）
- 我们在估计样本中按降序对估计变量进行排序。
- 10 20 ().
- .
- .
- 3 4.
- ( 3 / 4).
- 5 6.
EXCEL PSI:
()
- PSI < 0,1 — . .
- PSI >= 0,1, 0,2 — .
- PSI >= 0,2 — . . / .
您还可以使用条件格式范围-红色，黄色和绿色区域（红色-琥珀色-绿色区域）。红色是警报情况，其中PSI大于20％，黄色是10-20％，而必须监视模型，绿色是认为模型可用的阶段，即<十％。
现在，基于用例，可以根据业务相关性来调整这些阈值，但是想法仍然相同-跟踪总体变化。
稳定性指数（CSI）
, . , , .
, .
当模型性能下降时，检查模型变量分布的变化有助于确定可能的原因。通常，这是在检查之后完成的，结果证明PSI索引不在绿色区域中（总体<0.1）。这样，您可以检查哪些变量主要决定总体的分布。
如果甚至一个变量发生了显着变化，或者几个变量的性能发生了微小变化，则可能是时候重新训练模型或将其替换为另一个模型了。
在计算CSI时，采取与计算PSI时相同的步骤。唯一的区别是，决策是基于特定变量在设计阶段的样本值做出的（通过将其划分为范围并将这些值的限制设置为阈值）。然后，在为任何验证/计划外（OSS）样本计算频率值时，您只需对数据应用相同的阈值并计算频率值（使用我们用于计算PSI的相同公式）。
卓越的CSI索引表
图片由作者提供
因此，PSI可以帮助识别总体上人口分布的差异（如果它们很重要），而CSI可以帮助将其进一步缩小到一些负责任的变量。
研究链接