点击率模型AUC-创新互联

一 背景 

     首先举个例子：

                        正样本（90）                      负样本（10）

模型1预测       正（90）                               正（10）

模型2预测       正（70）负（20）               正（5）负（5）

结论：

      模型1准确率90%；

      模型2 准确率75%

      考虑对正负样本对预测能力，显然模型2要比模型1好，但对于这种正负样本分布不平衡对数据，准确率不能衡量分类器对好坏了，所以需要指标auc解决倾斜样本的评价问题。

二分类混淆矩阵

预测\实际      1            0

1                   TP         FP

0                   FN          TN

      TPR＝TP／P＝TP／TP＋FN  直观1中猜对多少

      FPR＝FP／N＝FP／FP＋TN 直观0中猜错多少

      Auc对横纵坐标分别为FPR和TPR，相对于y=x这条直线靠近左上角对分类器性能更好，所以模型2更优。

                           TPR                           FPR

模型1                90/90＝1                  10/10=1

模型2                70/90=0.78               5/10=0.5

模型1和2的auc点位分别如下图所示，显然模型1更优：

二 研究现状

      AUC直观概念，任意取一对正负样本，正样本score大于负样本对概率。

      计算方法：正样本和负样本pair对，auc＝预估正样本score大于负样本score的pair对数／总的pair对数。

      E.g. 分别计算模型1和2对auc？

四个样本label为y1=+1, y2=+1, y3=-1, y4=-1

模型1的预测为 y1=0.9, y2=0.5, y3=0.2, y4=0.6

模型2的预测为 y1=0.1, y2=0.9, y3=0.8, y4=0.2

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。