风控策略的上线效果评估与调优有关吗？风控策略的上线效果评估与调优
风控策略一般分为进件规则，严拒规则，可变规则，评分规则。严拒规则指的是黑名单及反欺诈规则，和进件规则一样属于信贷机构完全不能容忍的规则，这两类规则调整频率较低，命中人群风险高。可变规则和评分规则则属于调整频率比较高的一类，例如多头规则，信用历史规则，信用模型分等(模型也是一种规则），本篇文章也是主要介绍这两类规则的评估方法。
一.策略的稳定性评估
策略一旦上线后，我们就要关注它的稳定性情况，稳定性评估主要有两方面的作用：
一.是来评估线下开发策略的样本跟线上样本的分布偏差
二.是评估在时间段上拒绝率及策略指标分布的变化，来反映申请客群的偏移情况。
评估指标：拒绝率，PSI
1）拒绝率在策略稳定性指标上的应用
拒绝率：被策略拒绝的样本数 / 触发该策略的样本数
一般策略刚上线时，会进行空跑(只触发，不拒绝)，空跑一两天后取出线上策略的结果，与线下样本的结果进行比对，看策略指标分布的差异以及在拒绝阈值下线上与线下的拒绝率差异，如果比对结果差不多，说明线下模拟的结果与真实结果差异不大，策略可正式启用。
策略正式启用后，需要对其拒绝率做每日实时监控，如果在一段时间内拒绝率波动明显，需要排查引起波动的原因，可能是策略用的变量不稳定，或者是申请端客群变化导致。
2）PSI指标在策略稳定性指标上的应用
PSI：衡量变量或者模型分在分段上的稳定性
拒绝率只能反映拒绝阈值下的稳定性，而PSI能表现策略用到的变量或者模型分整体分布上的变化。PSI衡量稳定性是有参照的，因此需要有两个分布--实际分布和预期分布。在做线下和线上分布对比时，线下是预期分布，线上是实际分布。而在分析时间段上PSI变化时，可用首天/首周的样本作为预期分布，后面时间段的样本作为实际分布。
对于模型分规则，PSI的评估尤为重要，如果线下与线上的PSI过高，说明建模样本不能近似代表线上样本，这种情况模型需要重新开发。如果时间段上PSI过高或者波动明显，则需要从入模变量层排查原因。PSI无法反映偏移的细节，例如一个模型分PSI比较高，但从PSI的值上无法看出是往高分段还是低分段偏移，这就需要观察分布偏移情况才能获知了。
二.策略在风控流程上的权重评估
在讲权重评估之前，先介绍下策略架构的两种方式，并行跑策略和串行跑策略。
下图是并行跑策略的方式，规则之间是并行的关系，用户申请时会把所有的规则跑一遍，其中一条规则拒绝则风控拒绝。
规则之间会有交叉命中的情况，这就涉及到一个指标叫不交叉拒绝率，来衡量只被某个规则的拒绝情况。
假设申请量为100，风控拒绝50个，其中A规则拒绝30，B规则拒绝20，都命中两个规则的有10个，则规则A的不交叉拒绝率为（30-10）/100=20%，B规则为（20-10）/100=10%
编辑
添加图片注释，不超过 140 字（可选）
图：并行策略
下图是串行跑策略的方式，用户跑规则有先后顺序，先跑规则A，规则A通过后跑规则B，直到所有规则都通过则风控通过，如果在规则A就被拒绝，后面的规则就不跑了。串行这种方式规则之间不存在交叉情况，可以直接用拒绝率来衡量只被某个规则的拒绝情况。
拒绝率 = 被策略拒绝的样本数 / 触发该策略的样本数
编辑
添加图片注释，不超过 140 字（可选）
图：串行策略
权重是来评估策略在逾期控制上的贡献度，贡献度大小从两方面来衡量，一是精确率，来评估策略识别坏用户的精准度，精确率=被拒的坏样本数量 / 被拒样本数量。二是刚才提到的不交叉拒绝率。精确率高且不交叉拒绝率高的策略权重就大。
精确率的计算公式中分子是被拒样本中坏的数量，但线上被拒样本是没有贷后表现的，那怎么从通过样本中衡量精确率会在下一part中讲到。现在假设风控流程总共只有A和B 两个规则，且是并行跑的方式，两个规则的精确率都是差不多的，那需要根据不交叉拒绝率来评估权重，申请样本为50个，A规则拒绝10个，B规则拒绝5个，两个规则交叉拒绝5个，则A规则的不交叉拒绝率为（10-5）/50=10%，B规则为（5-5）/50=0%，说明A规则的权重更大，且B规则是冗余的，因为B规则拒的人也都被A拒了，这种情况可以考虑把B规则下线掉。从这个例子中可看出权重除了评判策略的效果，也能对剔除无用的规则做参考，来降低策略框架的复杂度和维护成本。
三.策略的区分能力评估
策略上线一段时间后有了表现样本，需要对其做区分能力的评估。上一part提到策略上线后无法计算真实的精确率，这时候就可以用排序性来评估。因为可变规则和模型分规则用到的都是连续型变量，基于信贷业务的可解释性，我们通常要求变量在分段上badrate是单调变化的，那么在变量通过分段上的排序性可代表它的精确率。如果排序能力下降，说明精确率变低，区分能力变差。
另外开发策略时我们一般用线下样本评估效果然后上线使用，所以评估的角度一是看线上与线下的排序性对比，二是观察在时间维度上排序能力的衰减趋势，评价衰减趋势时要有一个量化指标，对于可变规则中的变量可用IV来衡量，模型分规则用KS。
以‘按时还款订单数占比过低’这条规则为例，下图是线下评估的结果，可以看到排序能力尚可，我们定拒绝阈值为<=0.675。
编辑
添加图片注释，不超过 140 字（可选）
（线下评估效果）
编辑
添加图片注释，不超过 140 字（可选）
（线上评估效果）
这里提到的线上策略与线下策略的评估效果指的是什么内容，并且当上线的策略出现差异波动的时候又该如何处理？以下我们以一个实际的案例，跟大家讲下策略出现波动的时候的处理方法。
四.【案例分享】
1、发现问题：于实际工作中，逾期率报表是风控人员最常用的报表之一，以下分享报表为FPD30+%（首期逾期30天）的逾期率报表：
编辑切换为居中
添加图片注释，不超过 140 字（可选）
（本次报表计算逻辑：FPD30+%=首期逾期超过30天的逾期订单量/到期应还款总订单量）
问题所在：实际通过报表观察，于2020年11月17日单日的首逾30+已超过11月1日到11月16日（近15天内）的1.5倍以上，虽然11月18日有回降，但仍高于平均值，基于此数据表现，结合实际业务逻辑，如还款日为借款日的30天后，我们可以着手分析一个月前10月17日前后一周的客户申请数据样本，寻找原因。
（课外思考内容：为何本次分享选择首期逾期30+的数据，而不是选择其他逾期区间数据，请大家思考原因，后期将于课程分享中进行分享。）
2、寻找原因：
首期逾期率的波动会有很多原因，如：客群下沉、测试数据验证、批量欺诈客户申请、评分卡下沉等等原因均会有影响。
客群下沉：根据放款日当天（10月16日、10月17日）与前两周客群切片数据进行对比（10月1日-10月10日期间任意时间），寻找客群占比的变化；
测试数据验证：如确认黑名单验证等数据导致，则需将测试数据剔除后再进行逾期率计算，对比剔除后数据与剔除前是否有变化，剔除后是否接近均值；
批量欺诈客户申请：抽取放款日当天（10月16日、10月17日）客户申请信息，排查是否存在批量欺诈客户申请的情况；
评分卡下沉：分析此部分客群是否与建卡部分客群样本存在数据差异，从整体评分卡字段及逻辑进行分析；
以上原因从贷前业务逻辑而言已覆盖大部分可能出现的情况及场景，如确认均无异常数据，则可考虑贷后策略原因，造成逾期数据波动的贷后策略一般有以下原因：
a. 催回率的下降；
b.催收策略调整；
催收回收率是催收业务中较为重要的业务指标，首期逾期30+业务基本均有经过催收部门介入处理，我们可以根据逾期周期拆分为首逾10天、30天等不同逾期天数或催收阶段分析催回率的变化，具体定位哪个催收阶段存在异常情况，如下表：
编辑
添加图片注释，不超过 140 字（可选）
（本次报表计算逻辑：催回率=首期逾期催回订单量/总逾期订单量）
从以上报表可以得知，11月17日、18日的首期逾期10天催回率明显较于11月16日前的催回率低，并且呈明显断层式下降，基于逾期数据的情况下再观察催收的回收情况，可见催收回收率明显下降，基本可以确定是催收异常。
编辑
添加图片注释，不超过 140 字（可选）
从催收数据可见催回率7天数据波动不大变化，但10天波动变化较大，继而到30天数据波动变化较小，则可以考虑是否催收策略是否针对逾期十天的客户进行了调整；
根据催回率的表现，找出问题的方向为：
a、 催收系统问题；
b、 由于人力成本压力或其他压力，导致原本逾期十天由人工外呼催收，调整后均为人工智能外呼催收，导致催回率下降；
c、 失联率较高导致；
以上相关内容，欢迎来参与番茄风控历史的会员课堂：
《风控策略部署与调优》
编辑切换为居中
添加图片注释，不超过 140 字（可选）
编辑切换为居中
添加图片注释，不超过 140 字（可选）
另外关于策略上线后的效果评估内容，在相关的知识星球社区，也有相关的干货内容，各位星球同学也可以同步学习：
编辑切换为居中
添加图片注释，不超过 140 字（可选）
...
~原创文章
