无人机遥感图像的荔枝果实检测与计数方法

　　1.本发明涉及目标识别及智慧农业的技术领域，尤其是指一种无人机遥感图像的荔枝果实检测与计数方法。

　　2.随着计算机视觉和智慧农业的快速发展，果实检测技术已成为研究热点，果实产量统计对于果实收获作业计划和市场营销策略起着至关重要的作用。收获果实之前准确地统计果园产量，在现阶段，有助于管理者根据园区果实分布情况合理地分配劳动力，及时调整生产管理和销售策略，能够有效的节省生产资料投入。随着无人机技术的发展与成熟，搭载不同传感器的无人机遥感技术可以按需获取高时空分辨率的遥感数据，为果园的大面积、高精度估产提供了可能。

　　3.近年来，各种目标检测算法层出不穷，深度学习技术逐渐替代传统的计算机视觉技术，在精度和实时性上都有了很大的提升，为智慧果园的产量统计提供了可能。

　　5.1、由于无人机拍摄高度，导致荔枝果实目标较小，而小目标特征少，因此，小目标检测一直是目标检测中的难题。图二为训练集、验证集和测试集统计的荔枝果实尺寸热图，从图中可以看出荔枝果实尺寸集中在12像素

　　6.2、目前已有的果实计数方法在无遮挡条件下的计数精度较高，对于密集、重叠、遮挡程度较高的果实无法进行有效的统计，在产量统计上会造成较大的偏差。

　　7.3、荔枝果实落果严重，现有的估产算法很容易将落果作为产量的一部分，导致估产存在较大的误差。

　　8.本发明的目的在于克服现有技术的缺点与不足，提出了一种无人机遥感图像的荔枝果实检测与计数方法，借助无人机获取遥感图像，能够按需获取高时空分辨率的遥感数据，且能够解决大面积作业问题。首先进行树冠分割，尽在树冠区域进行果实目标检测，避免落果的错误计入，然后借助荔枝果实检测模型，融合超分辨率操作，以提高目标密集区域的分辨率，并在超分图像上检测密集果实，使得密集果实区域目标的检测性能有了显著的提升，既提高了果实检测精度又避免了计算大幅度增加。

　　9.为实现上述目的，本发明所提供的技术方案为：无人机遥感图像的荔枝果实检测与计数方法，包括以下步骤：

　　12.s3、建立荔枝果实检测模型，对输入的树冠分割结果图的所有区域都进行目标检测，称为第一阶段检测，最终根据荔枝果实检测模型的热图分支、宽高分支和偏移量分支获取检测结果，其中，根据第一阶段检测的热图分支输出的热图划分密集果实区域和非密集果实区域，第一阶段检测能够对非密集果实区域进行准确检测，但对于密集果实区域会存在漏检情况，主要原因为密集果实区域遮挡严重，单个目标尺寸小和特征少，因此需要进行第二阶段检测，该第二阶段检测需要根据第一阶段检测的热图分支输出的热图确定密集果实区域，再对密集果实区域进行超分辨率操作获取超分密集果实图像，最后对超分密集果实图像进行二次特征提取和目标定位，以实现密集果实区域的精准检测；

　　13.s4、分别统计第一阶段检测的非密集果实区域与第二阶段检测的密集果实区域的检测结果，得到最终的果实检测数量。

　　中挑选果实密集的图像，对果实密集区域进行裁剪超分，利用映射关系将标注边界框映射到超分图像上，获得超分图像标签，将超分图像及对应标签形成超分图像训练集set

　　21.s22、用图像数据库中的训练集和验证集对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图。

　　22.进一步，在步骤s3，选择基于无锚点的目标检测算法centernet作为荔枝果实检测模型的基本框架，其特征提取主干网络为dla-34，进行网络改进，以适应小目标特征提取，即采用了改进的centernet，具体如下：

　　23.dla-34包括5个level层，分别为level1、level2、level3、level4和level5，在level1层不进行下采样，则输入图像由原来四倍下采样调整至二倍下采样，网络输出特征尺寸由原来的128

　　25.特征提取主干网络输出包含三个分支，分别为热图分支hm、宽高分支wh和偏移量分支reg，增大hm输出的热图最大峰值数peak，以适应密集果实的检测；

　　32.热图是一张二维图，坐标点的值代表接近目标中心的概率；设置热图阈值，对热图进行阈值分割，而后进行开操作，先去除离散的目标区域，再平滑果实密集区域连通域边界，以获得密集果实候选区域；

　　33.将密集果实候选区域映射回原图，裁剪相应矩形框；若m个不同区域的矩形框发生重叠，则形成覆盖这m个区域的矩形框金年会app金年会app，其中m为2个或3个以上；最终形成n个互不重叠的密集果实候选区域矩形框；

　　34.将n个密集果实候选区域矩形框，利用矩形件排样问题的遗传算法，拼接为密集果实候选区域图，使其最小面积；

　　35.将n个密集果实候选区域矩形框看做n个矩形件，将拼接的密集果实候选区域图看作排样图；如此，n个密集果实候选区域矩形框拼接问题，能转化为矩形件排样优化问题，即在给定的矩形板材上排放所需要的n个矩形件，使排放区域的板材废料尽可能地少，以达到节省板材的目的；

　　37.利用bl(bottle-left condition)算法与遗传算法相结合，求解最优排样图，即获得n个密集果实候选区域矩形框的拼接图i

　　，pn}，pi为整数，有正负之分，且1≤pi≤n，表示矩形件的编号，pi为负值时表示矩形件旋转90度后再排放；h(p)为排样高度，h为一个事先选定的高度值，为一常数，其值应确保使h≥h(p)的值为正；area为可再利用废料的面积，h(p)

　　42.超分辨率网络使用srgan网络，srgan网络对抗损失由gan提供，根据图像是否能够欺骗过判别网络进行训练，放大因子为4，网络输入为图像i

　　46.1、本发明数据采集是借助无人机获取的，采集图像信息能够迅速覆盖整个园区，在数据采集方面节省大量的人力，符合当今智慧果园的潮流。这些数据为后面树冠分割、果实检测、估产统计提供了数据支持。

　　47.2、本发明在检测果实前先进行了树冠分割，在分割的有效区域内计数，解决了因为落果导致的误检问题，大大提高了估产精度。

　　48.3、本发明提出一种荔枝果实检测模型，将超分融合到centernet中，提高了目标密集区域的分辨率，使得密集区域目标的检测和小目标的检测性能有了显著的提升。

　　54.如图1所示，本实施例提供一种无人机遥感图像的荔枝果实检测与计数方法，该方法可解决无人机遥感图像的荔枝果实重叠、遮挡、小目标给检测带来的困难，以实现果园精准精准计数，提高果园的智能化管理程度。该方法在ubuntu14.04操作系统下，基于nvidia gtx 980ti的gpu硬件平台上搭建pytorch深度学习框架，进行树冠分割和果实检测模型的训练和测试。其具体实现步骤为：

　　55.步骤一：采集果园果实无人机遥感图像，构建图像数据库，包括数据集采集、数据预处理、数据标注和数据集建立，为后续实验提供数据支持。

　　56.步骤二：建立荔枝树冠分割模型，对输入的无人机遥感图像进行测试，获取每棵荔枝树的树冠分割结果图。

　　57.步骤三：建立荔枝果实检测模型，对输入的树冠分割结果图的所有区域都进行目标检测，称为第一阶段检测，最终根据荔枝果实检测模型的热图分支、宽高分支和偏移量分支获取检测结果，其中，根据第一阶段检测的热图分支输出的热图划分密集果实区域和非密集果实区域，第一阶段检测能够对非密集果实区域进行准确检测，但对于密集果实区域会存在漏检情况，主要原因为密集果实区域遮挡严重，单个目标尺寸小和特征少，见图2所示，因此需要进行第二阶段检测，该第二阶段检测需要根据第一阶段检测的热图分支输出的热图确定密集果实区域，再对密集果实区域进行超分辨率操作获取超分密集果实图像，最后对超分密集果实图像进行二次特征提取和目标定位，以实现密集果实区域的精准检测。

　　58.步骤四：根据非密集果实区域和密集果实区域的划分，分别统计第一阶段非密集果实区域与第二阶段密集果实区域的检测结果，得到最终的果实检测数量。

　　60.1)采用大疆精灵4rtk无人机获取果园树冠图像，搭载的摄像头最大倾斜角度为-90至+30，内置摄像头有效像素为2000万，图像分辨率为3840

　　61.2)拍摄时间为2021年5月，拍摄地点位于广州某荔枝园。将拍摄的无人机遥感图像进行筛选，剔除重复数据和质量较差的数据，由于无人机遥感图像分辨率为3840

　　2160，图像尺寸过大，直接resize会造成果实目标信息丢失，所以将每张原始遥感图像裁剪成互不重叠的20幅分辨率大小为768

　　中挑选密集果实的图像，对密集果实区域进行裁剪超分，利用映射关系将标注边界框映射到超分图像上，获得超分图像标签，将超分图像及对应标签形成超分图像训练集set

　　64.所述步骤二，具体步骤为选用mask-rcnn建立荔枝树冠分割模型，用图像数据库中的训练集set

　　66.见图3所示，选择基于无锚点的目标检测算法centernet作为荔枝果实检测模型的基本框架，其特征提取主干网络为dla-34，进行网络改进，以适应小目标特征提取，即采用了改进的centernet，具体如下：

　　67.dla-34包括5个level层，分别为level1、level2、level3、level4和level5，在level1层不进行下采样，则输入图像由原来四倍下采样调整至二倍下采样，网络输出特征尺寸由原来的128

　　69.特征提取主干网络输出包含三个分支，分别为热图分支hm、宽高分支wh和偏移量分支reg，增大hm输出的热图最大峰值数peak，以适应密集果实的检测；

　　76.热图是一张二维图，坐标点的值代表接近目标中心的概率；设置热图阈值，对热图进行阈值分割，而后进行开操作，先去除离散的目标区域，再平滑果实密集区域连通域边界，以获得密集果实候选区域；

　　77.将密集果实候选区域映射回原图，裁剪相应矩形框；若m个不同区域的矩形框发生重叠金年会app，则形成覆盖这m个区域的矩形框，其中m为2个或3个以上；最终形成n个互不重叠的密集果实候选区域矩形框；

　　78.将n个密集果实候选区域矩形框，利用矩形件排样问题的遗传算法，拼接为密集果实候选区域图，使其最小面积；

　　79.将n个密集果实候选区域矩形框看做n个矩形件，将拼接的密集果实候选区域图看作排样图；如此，n个密集果实候选区域矩形框拼接问题，能转化为矩形件排样优化问题，即在给定的矩形板材上排放所需要的n个矩形件，使排放区域的板材废料尽可能地少，以达到节省板材的目的；

　　81.利用bl(bottle-left condition)算法与遗传算法相结合，求解最优排样图，即获得n个密集果实候选区域矩形框的拼接图i

　　，pn}，pi为整数，有正负之分，且1≤pi≤n，表示矩形件的编号，pi为负值时表示矩形件旋转90度后再排放；h(p)为排样高度，h为一个事先选定的高度值，为一常数，其值应确保使h≥h(p)的值为正；area为可再利用废料的面积，h(p)

　　86.超分辨率网络使用srgan网络，srgan网络对抗损失由gan提供，根据图像是否能够欺骗过判别网络进行训练，放大因子为4，网络输入为图像i

　　90.统计第一阶段检测的非密集果实区域与第二阶段检测的密集果实区域的检测结果，得到最终的果实检测数量。

　　92.本发明采用业界公认的3个评价指标对测试集的检测结果进行统计，分别为准确率p(precision)、召回率r(recall)、平均精确率map(mean average precision)，其公式定义如公式(3)-(5)所示：

　　其中，tp为图像中被正确检测的目标个数，fp为图像中非目标被检测的个数，fn为图像中目标被检测成其它种类物体的个数。精确率是pr曲线与坐标轴围成的面积，平均精确率map是多类别ap的平均值即p对r的积分。

　　传统的centernet检测方法和本发明提出的改进的centernet对比结果如图所示，相比传统的centernet检测算法，本发明提出的方法针对密集小目标检测效果更好，精确率和召回率都有明显的提升。

　　传统的centernet和改进的centernet对比结果如图4所示，图中(a)和(c)为传统的centernet检测结果图，图中(b)和(d)图为改进的centernet检测结果图。从(a)和(b)对比可以看出，改进的centernet对密集果实区域目标的检测有了很大的提升，大大提高了密

　　集果实区域的召回率。从(c)和(d)对比可以看出改进的centernet对小目标的检测有了很大的提升，大大提高了小目标的召回率。(c)右下角区域目标极小，平均像素6个像素，原方法漏检严重，而本发明方法检测效果较好。

　　方法precisionrecallmap传统的centernet0.9030.6530.339改进的centernet0.9620.9130.591

　　上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。