pytorch进阶学习（七）：神经网络模型验证过程中混淆矩阵、召回率、精准率、ROC曲线等指标的绘制与代码

参考笔记

【机器学习】五分钟搞懂如何评价二分类模型！混淆矩阵、召回率、精确率、准确率超简单解释，入门必看！_哔哩哔哩_bilibili

混淆矩阵的概念_GIS_JH的博客-CSDN博客

机器学习中的混淆矩阵，准确率，精确率，召回率，F1，ROC/AUC，AP/MAP_混淆矩阵准确率预测精度召回率_胤风的博客-CSDN博客 课程教学资源：

8、源码分享 混淆矩阵、召回率、精准率、ROC曲线等指标一键导出【小学生都会的Pytorch】_哔哩哔哩_bilibili

上一节笔记：pytorch进阶学习（六）：如何对训练好的模型进行优化、验证并且对训练过程进行准确率、损失值等的可视化，新手友好超详细记录_好喜欢吃红柚子的博客-CSDN博客 

目录

一、二分类模型评价指标（理论介绍）

1. 混淆矩阵

1.1 简介

1.2 TP、FP、FN、TN

2. 二级指标

2.1 准确率 

2.2 精确率

2.3 召回率 

 3. 三级指标 F1

二、混淆矩阵、召回率、精准率、ROC曲线等指标的可视化

1. 数据集的生成和模型的训练

2. 模型验证

2.1 具体步骤

2.2 关于eval函数的解释

2.3 代码

2.4运行结果

3. 混淆矩阵、ROC曲线等指标的图像绘制

3.1 代码

 3.2 输出结果

一、二分类模型评价指标（理论介绍）

1. 混淆矩阵

1.1 简介

在机器学习领域，混淆矩阵（Confusion Matrix），又称为可能性矩阵或错误矩阵。混淆矩阵是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。

• 在下图是否为猫的预测中，表格左上（实际为正和预测为正）和右下（实际为负和预测为负）是预测正确的值。

•  根据左边表格的数据，可以得出右边表格中的数字，即得到了混淆矩阵

1.2 TP、FP、FN、TN

• True Positive（TP）：真正类。样本的真实类别是正类，并且模型识别的结果也是正类。
• False Negative（FN）：假负类。样本的真实类别是正类，但是模型将其识别为负类。
• False Positive（FP）：假正类。样本的真实类别是负类，但是模型将其识别为正类。
• True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。
   

在下图中：

• 真实是猫，预测为猫（正）：TP
• 真实不是猫，预测不是猫（负）：TN
• 真实不是猫，预测是猫（正）：FP
• 真实是猫，预测不是猫（正）：PN

2. 二级指标

2.1 准确率 

所有样本中真正预测对的个数占所有样本的比例。

2.2 精确率

预测为正（预测是猫：4）的样本中实际上为正（实际为猫:3）的个数。

2.3 召回率 

实际为正的样本中（实际为猫:5）预测为正（预测为猫:3）的有多少。

 3. 三级指标 F1

需要综合的考虑精确率和召回率两者的分数，于是引入了F1值，它是精确率和召回率的调和平均。

二、混淆矩阵、召回率、精准率、ROC曲线等指标的可视化

1. 数据集的生成和模型的训练

在这里，dataset数据集的生成和模型的训练使用到的代码和上一节一样，可以看前面的具体代码。

pytorch进阶学习（六）：如何对训练好的模型进行优化、验证并且对训练过程进行准确率、损失值等的可视化，新手友好超详细记录_好喜欢吃红柚子的博客-CSDN博客

1.  CreateDataset.py生成数据集train.txt和test.txt文件
2. PreTrainedModel.py对模型进行预训练，这里我们使用resnet34作为基本网络结构，下载预训练权重文件进行参数调整，对神经网络全连接层进行调整，经过参数加载、冻结、训练等一系列迁移学习的步骤之后，设置epoch=50，完成对网络的训练，并且保存正确率最高的epoch训练出的参数权重，在我这里