目标检测领域中的数据不均衡问题综述

   2023-02-07 学习力1063
核心提示:作者:Tom HardyDate:2020-05-16来源:目标检测领域中的数据不均衡问题综述参考:Imbalance Problems in Object Detection paper链接:https://arxiv.org/abs/1909.00169.pdf主要内容和相关背景本文主要介绍了目标检测领域的八个数据不平衡问题,并将这些问题
作者:Tom Hardy
Date:2020-05-16
参考:Imbalance Problems in Object Detection paper链接:https://arxiv.org/abs/1909.00169.pdf
主要内容和相关背景
本文主要介绍了目标检测领域的八个数据不平衡问题,并将这些问题分类为四种主要类型:类别不平衡、规模不平衡、空间不平衡和目标不平衡。
目标检测领域中的数据不均衡问题综述
当与不同类别相关的示例数量之间存在显著的不平等时,就会出现类别不平衡。虽然这方面的经典例子是前景到背景的不平衡,但前景(正)类之间也存在不平衡。当对象具有不同的比例和属于不同比例的不同数量的示例时,就会出现比例不平衡。空间不平衡是指与bounding box的空间特性有关的一组因素,比如回归惩罚、定位和IoU相关。最后,当存在最小化多个损失函数时,会出现客观不平衡(各个损失函数的权重不均衡),这在OD中通常是如此(例如分类和回归损失)。
目标检测领域中的数据不均衡问题综述
现主要有两种目标检测方法:自上而下和自下而上。尽管自上而下和自下而上的方法在深度学习时代之前都很流行,但目前,对象检测方法的大多数都遵循自上而下的方法;自下而上的方法是最近才提出的。本文围绕这两类思路,开展了研究讨论。
目标检测中的四大类数据不均衡问题
主要几种在类别不均衡、尺度不均衡、空间不均衡、优化目标不均衡,详细如下图所示,基于四大类不均衡问题又扩展成8类子问题:前景背景类别不均衡、前景和前景类别不均衡、物体/box尺度上的不均衡、特征层的不均衡、回归损失下的不均衡、IOU分布不均衡、物体位置的不均衡、优化目标的不均衡。
目标检测领域中的数据不均衡问题综述
1、类别不均衡
这个问题可以表现为“前景-背景不平衡”,其中背景实例的数量明显超过正实例;或者“前景-前景不平衡”,其中通常只有一小部分类占整个数据集的一大部分。类不平衡通常在检测pipelines中的“采样”阶段处理。
2、尺度不均衡
当对象实例具有不同的比例和与不同比例相关的不同数量时,可以观察到尺度比例不平衡。这个问题是物体在本质上具有不同维度这一事实的自然结果。规模也可能导致特征级别的不平衡(通常在“特征提取”阶段处理),不同抽象层(即高级别和低级别)的贡献不平衡。尺度不平衡问题表明,单一尺度的视觉处理不足以检测不同尺度的目标。
3、空间不均衡
空间不平衡是指与bounding box的空间属性相关的一组因素。基于这些空间性质,我们确定了三种空间不平衡的亚类型:(i)“回归损失不平衡”是关于个别例子对回归损失的贡献,与损失函数设计有关(ii)“IoU分布不平衡”(iii)“物体位置不平衡”
4、优化目标不均衡
当有多个目标(损失函数)要最小化时(每个目标用于特定任务,例如分类和框回归),就会出现目标不平衡。由于不同的目标在其范围和最佳解决方案方面可能不兼容,因此必须制定一个平衡的策略,以找到一个所有目标都可接受的解决方案。
 
类别不均衡及解决方法
1、 前景背景不均衡
在前景背景类不平衡的情况下,过表示类和欠表示类分别是背景类和前景类。这种类型的问题是不可避免的,因为大多数边界框被边界框匹配和标记模块标记为背景(即负)类。前景背景不平衡问题发生在训练期间,并且不依赖于数据集中每个类的示例数,因为它们不包括背景上的任何注释。
我们可以将背景类不平衡的解决方案分为四类:(i)硬采样方法,(ii)软采样方法,(iii)无采样方法和(iv)生成方法,详细方法汇总如下图所示:
目标检测领域中的数据不均衡问题综述
硬采样的思路:设置指定数量或者比例的正负样本(RCNN系列)。
软采样的思路:软抽样通过对训练过程的相对重要性来调整每个样本的贡献(设定样本损失权重)。
无采样方式:设立新的分支,根据前面的样本,预测后面样本的权重。
生成方法:主要基于GAN。
2、前景前景不均衡
主要集中在数据集上的类别不均衡,和每个bacth内的类别不均衡。
基于类别不均衡,论文阐述此情况不可避免,可以通过生成新的图像和类别进行解决。
基于batch内的类别不均衡:可以使用在线前景均衡(OFB)抽样,通过给每个要抽样的bounding box分配概率,可以在批处理级别上缓解前景类不平衡问题,从而使批处理中不同类的分布是均匀的。换言之,该方法旨在提升抽样过程中阳性样本数较少的类。虽然该方法是有效的,但性能改善并不显著。
 
尺度不均衡及解决方法
object/box级别的比例不平衡,主要包括物体和输入box的比例分布不平衡以及特征不平衡(分析了特征提取层存在的问题,并对金字塔特征提取方法进行了研究)
1、基于box/物体尺度的不均衡问题
当对象或输入bounding box的某些大小在数据集中过度表示时,会发生尺度平衡。已经证明,这会影响总体检测性能。下图显示了MS-COCO数据集中对象的相对宽度、高度和面积;
目标检测领域中的数据不均衡问题综述
解决方法主要包括:基于backbone特征层次的预测方法、基于特征金字塔的方法、图像金字塔方式、图像金字塔与特征金字塔相结合的方法。
2、特征层次的不平衡
针对FPN结构中的特征层次,有几种方法可以解决FPN体系结构中的不平衡问题,从设计改进的自顶向下通道连接到完全新颖的体系结构。论文考虑了使用新的架构来缓解特征级不平衡问题的方法,根据它们作为基础的用途将它们分为两类:使用金字塔或backbone特征作为bias。
目标检测领域中的数据不均衡问题综述
空间不均衡及解决方法
尺寸、形状、位置(相对于图像或另一个框)和IoU是边界框的空间属性。这些属性的任何不平衡都可能影响训练和泛化性能。例如,如果不采用适当的损失函数,位置的轻微变化可能导致回归(局部化)损失的剧烈变化,从而导致损失值的不平衡。在这一部分中,我们将具体讨论这些空间属性和回归损失问题。
目标检测领域中的数据不均衡问题综述
1、回归损失的不均衡
目标检测的回归损失主要有两类:第一类是基于Lp-norm-based(例如L1,L2)的损失函数,第二个是基于IoU的损失函数。上表显示了广泛使用的回归损失函数的比较。(不断解决了各类损失函数优化问题)
2、IoU分布的不均衡
目标检测领域中的数据不均衡问题综述
解决方式:Cascade R-CNN、Hierarchical Shot Detector (HSD)、IoU-uniform R-CNN、pRoI Generator
3、物体位置的不均衡
主要从anchor的尺寸和位置着手优化。
目标检测领域中的数据不均衡问题综述
优化目标不均衡及解决方法
目标不平衡是指在训练过程中最小化的目标(损失)函数。通过定义,目标检测需要多任务丢失,以便同时解决分类和回归任务。然而,不同的任务可能会导致不平衡,这是因为以下的差异:(i)梯度的规范对于任务可能是不同的,并且一个任务可以支配训练。(二)不同任务的损失函数范围不同,影响任务的一致性和均衡性优化。(iii)任务的难度可能不同,这会影响学习任务的速度,从而阻碍训练过程。
解决方法:最常见的解决方案是任务权重,它通过一个额外的超参数作为权重因子来平衡损失项。使用验证集选择超参数。当然,增加任务的数量,就像两级检测器一样,会增加权重因子的数量和搜索空间的维度(注意,两级检测器中有四个任务,一级检测器中有两个任务)。由多任务性质引起的一个问题是不同的函数之间可能存在一致性。对于例如,在AP损耗中,smooth L1(由于损耗的输入通常在应用对数变换后提供)与[0,∞)一起用于回归,而LAP∈[0,1]。另一个例子是GIoU loss,它在[-1,1]范围内,与交叉熵损失一起使用。作者将GIoU loss的权重因子设为10,并利用正则化方法来平衡这种幅度差异,保证训练的均衡性。
 
反对 0举报 0
 

免责声明:本文仅代表作者个人观点,与乐学笔记(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

  • 目标检测(R-CNN)和实例分割 mask R-CNN
    目标检测(R-CNN)和实例分割 mask R-CNN
    目标检测•   RCNN        RCNN(Regions with CNN features)是将CNN方法应用到目标检测问题上的一个里程碑,由年轻有为的RBG大神提出,借助CNN良好的特征提取和分类性能,通过RegionProposal方法实现目标检测问题的转化。        算法可以分为
    03-08
  • 目标检测综述 目标检测综述2022
    目标检测综述 目标检测综述2022
    目标检测的综述~总体介绍  目标检测是计算机视觉里面十分重要的任务,其主要解决检测在数字图像中某一类别可见的实例。最终的目的是为了开发一种计算模型和技术,来提供计算机视觉应用所需要的一个基础的信息即:目标在哪?  作为计算机视觉中众多基础问
    03-08
  • EfficientDet框架详解 | 目前最高最快最小模型,可扩缩且高效的目标检测(附源码下载)
    EfficientDet框架详解 | 目前最高最快最小模型
    EfficientDet框架详解 | 目前最高最快最小模型,可扩缩且高效的目标检测(附源码下载)昨天收录于话题3 12 51 4 29欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者:Edison_G疫情以来,已经被研究出很多高效高精度的框架,在深度学习领域,模型效
    03-08
  • YOLOV3目标检测模型训练实例 yolo5目标检测
    YOLOV3目标检测模型训练实例 yolo5目标检测
    从零开始学习使用keras-yolov3进行图片的目标检测,比较详细地记录了准备以及训练过程,提供一个信号灯的目标检测模型训练实例,并提供相关代码与训练集。DEMO测试YOLO提供了模型以及源码,首先使用YOLO训练好的权重文件进行快速测试,首先下载权重文件https:
    03-08
  • 10行Python代码实现目标检测
    10行Python代码实现目标检测
    要知道图像中的目标是什么?或者你想数一幅图里有多少个苹果?在本文中,我将向你展示如何使用Python在不到10行代码中创建自己的目标检测程序。如果尚未安装python库,你需要安装以下python库:opencv-pythoncvlibmatplotlibtensorflow下面的代码导入所需的pytho
    03-08
  • 目标检测中的AP计算 目标检测precision计算
    目标检测中的AP计算 目标检测precision计算
    转载自:https://blog.csdn.net/lppfwl/article/details/108018950目标检测中的AP计算最近在学习目标检测,对模型评价指标AP的计算过程有点疑问,经过查找资料、问师兄,最终算是有了一个相对明确的了解,特此记录一下,方便以后查看,不足之处还请大家批评指
    03-08
  • 目标检测数据集分析 目标检测数据预处理
    目标检测数据集分析 目标检测数据预处理
    目录目标检测数据集分析图片数量、标注框数量、类别信息所有图片宽度和高度的散点图所有标注框宽度和高度的散点图标注框宽度和高度之比每一类的标注框数量每一类图片数量每一张图片上的标注框数量不同尺寸的图片数量每一类标注框的宽度高度散点图使用方法Inst
    03-08
  • 目标检测框回归问题
    本文转自知乎,作者mileistone,已获作者授权转载,请勿二次转载。https://zhuanlan.zhihu.com/p/330613654目标检测模型训练的时候有两个任务,框分类(框里是什么)和框回归(框在哪),本文主要讲第二点。框回归可以分为两大类,基于x,y,w,h的回归(比如
    03-08
  • 目标检测算法-Mask-RCNN 目标检测算法的主要目的是找到图像中用户感兴趣的
    目标检测算法-Mask-RCNN 目标检测算法的主要目
    Mask_RCNN是何凯明基于以往的faster-rcnn构架提出的新的卷积网络,该方法再有效的目标的同时完成了高质量的语义分割。主要思路就是把原有的faster-rcnn进行扩展,添加一个分支使用现有的检测对目标进行并行预测,可以很方便的应用其他的应用领域,向目标检测
    03-08
  • 手机端 19FPS 的实时目标检测算法:YOLObile
    手机端 19FPS 的实时目标检测算法:YOLObile
    本文转载自机器之心。本文提出了一套模型压缩和编译结合的目标检测加速框架,根据编译器的硬件特性而设计的剪枝策略能够在维持高 mAP 的同时大大提高运行速度,压缩了 14 倍的 YOLOv4 能够在手机上达到 19FPS 的运行速度并且依旧维持 49mAP(COCO dataset)的
    03-08
点击排行