理解准确率(accuracy)、精度(precision)、查全率(recall)
基本定义
Accuracy 就是我们通常说的正确率，在整个样本空间里，做出正确预测的百分比。
precision 是在我们认为的正样本中， 有多大比例真的是正样本。
recall 则是在真正的正样本中， 有多少被我们找到了。
Accuracy/Precision/Recall的定义(结合下面表格)
Accuracy = (预测正确的样本数)/(总样本数)=(TP+TN)/(TP+TN+FP+FN)
Precision = (预测为1且正确预测的样本数)/(所有预测为1的样本数) = TP/(TP+FP)
Recall = (预测为1且正确预测的样本数)/(所有真实情况为1的样本数) = TP/(TP+FN)
表格与图像表示
TP: 预测为1(Positive)，实际也为1(Truth-预测对了)
TN: 预测为0(Negative)，实际也为0(Truth-预测对了)
FP: 预测为1(Positive)，实际为0(False-预测错了)
FN: 预测为0(Negative)，实际为1(False-预测错了)
总的样本个数为：TP+TN+FP+FN。
图中上部分，左边一整个矩形中（false negative和true positive）的数表示ground truth之中为1的（即为正确的）数据，右边一整个矩形中的数表示ground truth之中为0的数据。
Precision and recall的实际意义
做二值分类时，我们认为，若h(x)>=0.5，则predict=1；若h(x)<0.5，则predict=0。这里0.5就是分类阈值。
增加阈值，我们会对预测值更有信心，即增加了查准率。但这样会降低查全率。（High Precision, Low Recall）
减小阈值，则模型放过的真例就变少，查全率就增加。（Low Precision, High Recall）