YOLOv5 引入 最新 BiFusion Neck | 附详细结构图
创始人
2024-05-13 21:09:23
0

在这里插入图片描述
YOLO 社区自前两次发布以来一直情绪高涨!随着中国农历新年2023兔年的到来,美团对YOLOv6进行了许多新的网络架构和训练方案改进。此版本标识为 YOLOv6 v3.0。对于性能,YOLOv6-N在COCO数据集上的AP为37.5%,通过NVIDIA Tesla T4 GPU测试的吞吐量为1187 FPS。YOLOv6-S以484 FPS的速度得到了超过45.0%的AP,超过了相同规模的其他主流检测器(YOLOv5-S、YOLOv8-S、YOLOX-S和PPYOLOE-S)。YOLOv6-M/L在相似的推理速度下也比其他检测器实现了更好的精度性能(分别为50.0%/52.8%)。此外,凭借扩展的Backbone和Neck设计,YOLOv6-L6实现了最先进的实时精度。


在这里插入图片描述

YOLOv6 3.0 结构

YOLOv6贡献

YOLOv6的新功能总结如下:

  1. 我们用双向级联(BiC)模块更新检测器的颈部,以提供更准确的定位信号。SPPF被简化为SimCSPSPF块,它带来了性能提高,速度下降可忽略不计。(SimCSPSPF和我之前提出的SPPFCSPC结构相同)
  2. 我们提出了一种锚辅助训练(AAT)策略,以在不影响推理效率的情况下,享受基于锚和无锚范例的优点。(这一点也比较有意思,v7作者在我的issue中是这么回答的issue)
  3. 我们深化 YOLOv6,使其在主干和颈部具有另一个阶段,这增强了它在 COCO 数据集上以高分辨率输入实现新的最先进性能。
  4. 我们采用了一种新的自蒸馏策略来提高 YOLOv6 小模型的性能,其中 DFL 的较重分支在训练期间被用作增强的辅助回归分支,并在推断时被移除,以避免显著的速度下降。

BiFusion Neck 融合的原理

BiFusion Neck 融合的原理其实并不是很难理解,有些博主解析的过于复杂,其实无非就是4步:

  1. 同尺度特征图使用 1×1 卷积降维;
  2. 大尺度特征图先使用 1×1 卷积降维,再使用 3×3 步长为 2 的卷积进行下采样
  3. 小尺度特征图 使用 2×2 的转置卷积进行上采样
  4. 然后将这三部分得到的特征图 Conca 拼接起来,使用 1×1 卷积再次降维;

BiFusion Neck结构图

我这里把YOLOv6的颈部网络完美移植到了YOLOv5


请添加图片描述

完整无水印高清结构图请关注博主本人公众号 `深度之灵` 回复 `bif` 领取;

参数量与计算量

模型参数量(parameters)计算量(GFLOPs)
yolov5s722588516.5
yolov5s BiFusion Neck739756517.5

很巧妙的改进~


代码修改方式:
yolo.py中加入nn.ConvTranspose2d

在这里插入图片描述
在这里插入图片描述


BiFusion Neck 配置文件

yolov5s-Bifusion.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# by迪菲赫尔曼 ,仅供学习交流,别tm倒卖!
# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# YOLOv5 v6.0 backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2[-1, 1, Conv, [128, 3, 2]],  # 1-P2/4[-1, 3, C3, [128]],[-1, 1, Conv, [256, 3, 2]],  # 3-P3/8[-1, 6, C3, [256]],[-1, 1, Conv, [512, 3, 2]],  # 5-P4/16[-1, 9, C3, [512]],[-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32[-1, 3, C3, [1024]],[-1, 1, SPPF, [1024, 5]],  # 9]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]], #10[-1, 1, nn.ConvTranspose2d, [512, 2, 2, 0, 0, 512]], #11[ 6, 1, Conv, [256, 1,1]],  #12[ 4, 1, Conv, [128, 1,1]],  #13[-1, 1, Conv, [128, 3,2]],  #14[[11, 12, 14], 1, Concat, [1]],  # cat backbone P4  #15[-1, 1, Conv, [512, 1,1]],    # 16[-1, 3, C3  , [512, False]],  # 17[-1, 1, Conv, [256, 1, 1]],   # 18[-1, 1, nn.ConvTranspose2d, [256, 2, 2, 0, 0, 256]], #19[ 4, 1, Conv, [ 128, 1,1 ] ],  #20[ 2, 1, Conv, [ 64, 1,1 ] ],   #21[-1, 1, Conv, [ 64, 3,2 ] ],   #22[[19, 20, 22], 1, Concat, [1]],  #23  cat backbone P3[-1, 1, Conv, [256, 1,1]],    #24[-1, 3, C3  , [256, False]],  #25 out[-1, 1, Conv, [256, 3, 2]],   #26[[-1, 18], 1, Concat, [1]],   #27  cat head P4[-1, 3, C3  , [512, False]],  #28 out (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],   #29[[-1, 10], 1, Concat, [1]],   #30 cat head P5[-1, 3, C3  , [1024, False]], # 31 (P5/32-large)[[25, 28, 31], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

yolov5m-Bifusion.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# by迪菲赫尔曼 ,仅供学习交流,别tm倒卖!
# Parameters
nc: 80  # number of classes
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# YOLOv5 v6.0 backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2[-1, 1, Conv, [128, 3, 2]],  # 1-P2/4[-1, 3, C3, [128]],[-1, 1, Conv, [256, 3, 2]],  # 3-P3/8[-1, 6, C3, [256]],[-1, 1, Conv, [512, 3, 2]],  # 5-P4/16[-1, 9, C3, [512]],[-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32[-1, 3, C3, [1024]],[-1, 1, SPPF, [1024, 5]],  # 9]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]], #10[-1, 1, nn.ConvTranspose2d, [512, 2, 2, 0, 0, 512]], #11[ 6, 1, Conv, [256, 1,1]],  #12[ 4, 1, Conv, [128, 1,1]],  #13[-1, 1, Conv, [128, 3,2]],  #14[[11, 12, 14], 1, Concat, [1]],  # cat backbone P4  #15[-1, 1, Conv, [512, 1,1]],    # 16[-1, 3, C3  , [512, False]],  # 17[-1, 1, Conv, [256, 1, 1]],   # 18[-1, 1, nn.ConvTranspose2d, [256, 2, 2, 0, 0, 256]], #19[ 4, 1, Conv, [ 128, 1,1 ] ],  #20[ 2, 1, Conv, [ 64, 1,1 ] ],   #21[-1, 1, Conv, [ 64, 3,2 ] ],   #22[[19, 20, 22], 1, Concat, [1]],  #23  cat backbone P3[-1, 1, Conv, [256, 1,1]],    #24[-1, 3, C3  , [256, False]],  #25 out[-1, 1, Conv, [256, 3, 2]],   #26[[-1, 18], 1, Concat, [1]],   #27  cat head P4[-1, 3, C3  , [512, False]],  #28 out (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],   #29[[-1, 10], 1, Concat, [1]],   #30 cat head P5[-1, 3, C3  , [1024, False]], # 31 (P5/32-large)[[25, 28, 31], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

在这里插入图片描述

本代码仅供学习交流使用,切勿倒卖,转载请注明出处 !!

相关内容

热门资讯

合肥包公园导游词 合肥包公园导游词  包公园,位于安徽省合肥市芜湖路72号,始建于北宋嘉祐七年,是为纪念北宋著名清官包...
景点贵阳花溪公园导游词 景点贵阳花溪公园导游词  作为一位兢兢业业的旅游从业人员,时常需要用到导游词,借助导游词可以更好地宣...
孔庙导游词   孔庙导游词(一)  尊敬的各位来宾:  你们好!我受旅游、接待部门的委托,对光临名城曲阜参观游览...
石家庄驼梁景区导游词 石家庄驼梁景区导游词尊敬的各位游客:  大家好!  欢迎大家来到驼梁,我是中游旅行社的一名导游员,我...
介绍傣家竹楼导游词300 傣家竹楼是傣族固有的典型建筑。下层高约七八尺,四无遮栏,牛马拴束于柱上。上层近梯处有一露台,转进为长...
电视剧《乱世佳人》简介及经典... 电视剧《乱世佳人》简介及经典台词  电视剧简介:  《乱世佳人》亦可称为民国版《美人心计》,由唐嫣饰...
丹东鸭绿江导游词 丹东鸭绿江导游词  鸭绿江是我们中国和朝鲜的分界线,各位导游,请看下面的丹东鸭绿江导游词,希望可以帮...
幼儿园运动会闭幕式主持词 幼儿园运动会闭幕式主持词  主持人在台上表演的灵魂就表现在主持词中。随着社会一步步向前发展,各种场合...
70大寿主持词 70大寿主持词  主持词的写作需要将主题贯穿于所有节目之中。现今社会在不断向前发展,主持人的需求越来...
个人领奖感谢词 个人领奖感谢词(精选7篇)  获得奖励或者嘉奖,不仅是一份荣誉,更是一份激励。你知道怎么写感谢词吗,...
重阳节经典致辞 关于重阳节经典致辞(精选6篇)  在生活、工作和学习中,大家都不可避免地会接触到致辞吧,致辞要求风格...
幼儿园元旦文艺汇演主持词 男小主持:尊敬的家长,亲爱的老师女小主持:可爱的小朋友合:大家新年好!男小主持:春夏秋冬,黑夜清晨女...
大话西游降妖篇2台词 大话西游降妖篇2台词  导语:《西游伏妖篇》也是继春节档周星驰执导电影《美人鱼》中徐克客串表演之后,...
晚会活动主持词   引导语:晚会最重要的一点就是主持,而有关晚会活动的主持词要怎么写呢?接下来是小编为你带来收集整理...
周年庆活动主持词 周年庆活动主持词9篇  借鉴诗词和散文诗是主持词的一种写作手法。在人们越来越多的参与各种活动的今天,...
《手机》经典台词 《手机》经典台词  砖头媳妇:装得跟头会想事的猪一样。  于文娟:老费吃了不管用,说明他不是不能,而...
公司工会代表大会主持词 公司工会代表大会主持词  各位代表:  请大家坐好,会议马上就要开始了,公司工会代表大会主持词。(待...
影视剧里那些讲完就领便当的台... 关于影视剧里那些讲完就领便当的台词  无论是什么类型的影视作品,片中的角色在将死之前大都会变得不太一...
高三毕业典礼主持词 高三毕业典礼主持词15篇  主持词的写作需要将主题贯穿于所有节目之中。在如今这个时代,活动集会越来越...
班会主持词 班会主持词(精选12篇)  根据活动对象的不同,需要设置不同的主持词。在如今这个时代,各种集会中主持...