解决YOLOv5训练中‘Ignoring corrupted image and/or label‘警告的实用指南

1. 这个警告到底在说什么?别慌,先看懂它

如果你在用YOLOv5训练自己的模型,跑着跑着突然在终端里看到一串黄色的 WARNING: Ignoring corrupted image and/or label,心里肯定“咯噔”一下。我刚开始玩目标检测那会儿,看到这个警告也是一头雾水,尤其是发现数据集里几千张图片莫名其妙“消失”了,训练样本直接少了一截,模型效果肯定受影响。

简单来说,这个警告是YOLOv5在数据加载阶段,给你当了一回“质检员”。它在读取你准备好的图片和对应的标签文件时,发现有些“货”不合格——要么是图片文件本身损坏了,要么是标签文件的格式有问题。为了保证训练过程稳定,YOLOv5的默认策略是:静默忽略这些坏数据,只加载那些检查通过的。所以你的2万张数据集,可能最后只有1万9千张真正进入了训练循环,那丢失的1千张就被这个警告默默过滤掉了。

你可能会问:“我的图片明明能打开啊,怎么看都是好的,怎么就损坏了?” 这里有个常见的误解。我们人类用眼睛看图,用的是图片查看器、Photoshop这些软件,它们容错性很强,即使文件有点小毛病,也能渲染出大致正常的图像。但YOLOv5在训练时,是用代码以二进制流的方式严格读取文件数据的,它对文件完整性的要求近乎“洁癖”。特别是对于JPG/JPEG这种常见的压缩格式,它有一个非常严格的校验:文件必须以特定的二进制标记 \xff\xd9 结尾。这个标记就像文章结尾的句号,告诉程序“数据到此为止,是完整的”。如果你的JPG文件因为各种原因(比如下载中断、存储介质错误、编辑软件保存有瑕疵)丢失或损坏了这个“句号”,哪怕图片内容99%是好的,在YOLOv5眼里,它也是一张“损坏的图片”。

标签文件的问题则更多样。可能是你标注时,边界框的坐标值超出了0-1的归一化范围(比如出现了1.2或者-0.1);也可能是标签文件里出现了重复的行;或者更直接的,图片对应的.txt标签文件根本不存在(nm, missing label)或者里面是空的(ne, empty label)。这些都会被归入“corrupted”的范畴。

所以,看到这个警告别急着烦躁,它其实是帮你发现数据集底层问题的“警报器”。我们的目标不是简单地屏蔽警告(虽然有时为了快速验证可以临时这么做),而是从根本上修复这些有问题的数据,确保每一份标注好的样本都能物尽其用,让模型学到更多。接下来,我们就一步步来当这个“数据医生”。

2. 深入代码:警告是从哪里冒出来的?

要解决问题,先得找到病根。这个警告信息来源于YOLOv5源码中的 utils/datasets.py 文件,具体是在 verify_image_label 这个函数里。这个函数是数据加载流水线的“质检关卡”,每一对(图片,标签)都要经过它的火眼金睛。

我们来拆解一下这个函数的关键部分,理解它到底在检查什么。当你看到下面这段代码时,就找到了核心:

def verify_image_label(args):
    # Verify one image-label pair
    im_file, lb_file, prefix = args
    nm, nf, ne, nc = 0, 0, 0, 0  # number missing, found, empty, corrupt
    try:
        # verify images
        im = Image.open(im_file)
        im.verify()  # PIL verify
        shape = exif_size(im)  # image size
        assert (shape[0] > 9) & (shape[1] > 9), f'image size {shape} <10 pixels'
        assert im.format.lower() in IMG_FORMATS, f'invalid image format {im.format}'
        if im.format.lower() in ('jpg', 'jpeg'):
            with open(im_file, 'rb') as f:
                f.seek(-2, 2)
                assert f.read() == b'\xff\xd9', 'corrupted JPEG'

首先,它用PIL库的 Image.open 打开图片,并立刻调用 im.verify()。这是PIL库自带的初步完整性检查。接着,它检查图片的宽和高是否都大于10像素,排除那些尺寸过小、几乎没有信息的图片。然后,检查图片格式是否在允许的列表(如.jpg, .png, .bmp等)内。

重点来了:对于 jpgjpeg 格式的图片,它执行了一个额外的、严格的二进制校验。with open(im_file, 'rb') as

代码转载自:https://pan.quark.cn/s/8ce4326d996e 对于在 CentOS 7 系统中修改网卡配置文件后无法使设置生效的情况,经过实践验证,可以通过使用 nmcli 命令来进行调整。完成修改之后,需要重新启动虚拟机以使更改生效,这样操作流程即告完成。如果设置仍然无法生效,则表明虚拟机在启动过程中所获取的 IP 地址配置并非针对 eth0,此时可以对其它网卡的配置文件进行修改或将其移除。在 CentOS 7 系统中,网络配置的管理机制与早期版本存在差异,主要体现为采用了 Network Manager 服务来负责网络接口的管理。在某些情形下,尽管修改了 `/etc/sysconfig/network-scripts` 目录下的 `ifcfg-eth0` 文件,但网络配置却未能即时生效。此类问题的发生通常源于 CentOS 7 采用了不同于以往的配置读取方法。接下来将具体阐述如何借助 nmcli 命令来处理这一挑战。 以 root 用户身份登录系统并打开终端界面。nmcli 是 Network Manager 提供的命令行界面工具,它支持在命令行环境下执行网络连接的建立、编辑、查询及管理任务。针对修改 eth0 网卡配置的需求,可以遵循以下步骤进行操作: 1. 导航至 `/etc/sysconfig/network-scripts` 目录: ``` cd /etc/sysconfig/network-scripts ``` 2. 检查该目录内是否存在 `ifcfg-eth0.bak` 文件,该备份文件可能是先前调整配置时遗留下来的,若存在可能造成冲突。若发现该文件,可以选择将其删除: ``` [root@localhost netw...
代码转载自:https://pan.quark.cn/s/46fd08fb879c 网管教程 从入门到精通软件篇 ★一。★详尽的xp修复控制台指令及其应用!!! 放入xp(2000)的光盘,安装时选择R,执行修复! Windows XP(涵盖 Windows 2000)的控制台指令是在系统遭遇某些意外状况时的一种极具效用的诊断、检测以及恢复系统功能的工具。笔者确实一直期望能够将这方面的指令进行归纳,此次由老范辛苦整理了这份极具价值的秘籍。 Bootcfg bootcfg 命令用于启动配置与故障恢复(对大多数计算机而言,即 boot.ini 文件)。 带有特定参数的 bootcfg 命令仅在运用故障恢复控制台时方可使用。能够在命令行界面下运用带有不同参数的 bootcfg 命令。 用法: bootcfg /default 设定默认引导选项。 bootcfg /add 向引导清单中增添 Windows 安装。 bootcfg /rebuild 重复整个 Windows 安装流程并让用户选择需添加的项目。 注意:运用 bootcfg /rebuild 之前,应先借助 bootcfg /copy 命令备份 boot.ini 文件。 bootcfg /scan 探查用于 Windows 安装的全部磁盘并展示结果。 注意:这些结果被静态存储,并用于当前会话。若在当前会话期间磁盘配置发生变动,为获取更新的探查结果,必须先重启计算机,然后再次探查磁盘。 bootcfg /list 列示引导清单中已有的项目。 bootcfg /disableredirect 在启动引导程序中禁用重定向。 bootcfg /redirect [ PortBaudRrate] |[ useBio...
代码下载链接: https://pan.quark.cn/s/fc524f791b68 AA制程,即Active Alignment,被理解为主动对准,是一种用于确定零部件装配中相对位置的方法。在摄像头封装阶段,涉及图像传感器、镜座、马达、镜头、线路板等多个部件的重复组装,而传统的封装设备如CSP及COB等,均是依据设备设定的参数进行零部件的移动装配,因而零部件的叠加误差会逐渐增大,最终在摄像头上表现为拍照最清晰的位置可能偏离画面中心、四边清晰度不均等现象。伴随智能手机和其他高端电子产品的普及,摄像头模组的性能正日益受到重视。高分辨率、卓越的低光表现以及稳定视频输出是现代用户所期望的。在摄像头模组的制造环节,各部件的精准定位对成像质量具有决定性作用。因此,一种名为“AA制程”(Active Alignment)的前沿技术被开发出来,成为摄像头精密对准的核心技术。 AA制程,即Active Alignment,是一种在摄像头封装过程中应用的主动对准方法。该方法在多个组件装配阶段发挥作用,涵盖图像传感器、镜座、马达、镜头和线路板等部件。传统的封装方式,例如CSP(Chip Scale Package)和COB(Chip On Board),依赖于设备预设的参数进行组装,但随着组件数量的增加,误差也会累积,最终影响摄像头的表现。例如在成像质量上可能出现中心位置偏移、四角清晰度不一致等问题。 AA制程技术的核心在于实时监测与主动调整。在组装过程中,它借助先进的检测设备持续监控半成品的状态,并根据实时信息对组装部件进行精确修正,从而显著降低装配误差。通过这种技术,能够确保摄像头模组中各组件的相对位置准确无误,从而使得最终的成像效果更加稳定,特别是在中心区域和四角的清晰度上...
内容概要:本文介绍了一套基于Matlab实现的光子晶体90度弯曲波导的二维时域有限差分法(2D FDTD)仿真代码,旨在通过数值模拟手段深入研究光子晶体波导中的光传播特性。该资源聚焦于电磁场与光子学领域的仿真技术应用,系统实现了FDTD算法在复杂介质结构中的建模过程,涵盖空间网格剖分、时间步进迭代、完美匹配层(UPML)边界条件处理、总场散射场(TFSF)激励源设置、介电常数分布定义及电磁场演化可视化等核心模块,能够有效分析光在90度弯曲波导中的传输效率、模式分布与反射损耗等关键性能指标。; 适合人群:具备电磁场理论基础和Matlab编程能力的研究生、科研人员以及从事光子晶体器件设计与仿真的工程技术人员。; 使用场景及目标:①用于教学演示FDTD方法的基本原理与算法流程,帮助理解麦克斯韦方程的离散化求解过程;②支撑科研工作中对光子晶体弯曲波导结构的传输特性进行仿真分析与性能优化;③作为开发更复杂光子集成器件(如分束器、滤波器)数值仿真工具的基础框架; 阅读建议:建议使用者结合经典FDTD教材(如Taflove著作)深入理解算法理论,并在Matlab环境中逐模块调试代码,重点关注电场与磁场的交替更新过程、UPML吸收边界的设计实现以及TFSF源的引入方式,从而全面提升对时域电磁仿真机制的掌握与应用能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值