YOLOv5 引入 最新 BiFusion Neck | 附详细结构图
创始人
2024-05-13 21:09:23
0

在这里插入图片描述
YOLO 社区自前两次发布以来一直情绪高涨!随着中国农历新年2023兔年的到来,美团对YOLOv6进行了许多新的网络架构和训练方案改进。此版本标识为 YOLOv6 v3.0。对于性能,YOLOv6-N在COCO数据集上的AP为37.5%,通过NVIDIA Tesla T4 GPU测试的吞吐量为1187 FPS。YOLOv6-S以484 FPS的速度得到了超过45.0%的AP,超过了相同规模的其他主流检测器(YOLOv5-S、YOLOv8-S、YOLOX-S和PPYOLOE-S)。YOLOv6-M/L在相似的推理速度下也比其他检测器实现了更好的精度性能(分别为50.0%/52.8%)。此外,凭借扩展的Backbone和Neck设计,YOLOv6-L6实现了最先进的实时精度。


在这里插入图片描述

YOLOv6 3.0 结构

YOLOv6贡献

YOLOv6的新功能总结如下:

  1. 我们用双向级联(BiC)模块更新检测器的颈部,以提供更准确的定位信号。SPPF被简化为SimCSPSPF块,它带来了性能提高,速度下降可忽略不计。(SimCSPSPF和我之前提出的SPPFCSPC结构相同)
  2. 我们提出了一种锚辅助训练(AAT)策略,以在不影响推理效率的情况下,享受基于锚和无锚范例的优点。(这一点也比较有意思,v7作者在我的issue中是这么回答的issue)
  3. 我们深化 YOLOv6,使其在主干和颈部具有另一个阶段,这增强了它在 COCO 数据集上以高分辨率输入实现新的最先进性能。
  4. 我们采用了一种新的自蒸馏策略来提高 YOLOv6 小模型的性能,其中 DFL 的较重分支在训练期间被用作增强的辅助回归分支,并在推断时被移除,以避免显著的速度下降。

BiFusion Neck 融合的原理

BiFusion Neck 融合的原理其实并不是很难理解,有些博主解析的过于复杂,其实无非就是4步:

  1. 同尺度特征图使用 1×1 卷积降维;
  2. 大尺度特征图先使用 1×1 卷积降维,再使用 3×3 步长为 2 的卷积进行下采样
  3. 小尺度特征图 使用 2×2 的转置卷积进行上采样
  4. 然后将这三部分得到的特征图 Conca 拼接起来,使用 1×1 卷积再次降维;

BiFusion Neck结构图

我这里把YOLOv6的颈部网络完美移植到了YOLOv5


请添加图片描述

完整无水印高清结构图请关注博主本人公众号 `深度之灵` 回复 `bif` 领取;

参数量与计算量

模型参数量(parameters)计算量(GFLOPs)
yolov5s722588516.5
yolov5s BiFusion Neck739756517.5

很巧妙的改进~


代码修改方式:
yolo.py中加入nn.ConvTranspose2d

在这里插入图片描述
在这里插入图片描述


BiFusion Neck 配置文件

yolov5s-Bifusion.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# by迪菲赫尔曼 ,仅供学习交流,别tm倒卖!
# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# YOLOv5 v6.0 backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2[-1, 1, Conv, [128, 3, 2]],  # 1-P2/4[-1, 3, C3, [128]],[-1, 1, Conv, [256, 3, 2]],  # 3-P3/8[-1, 6, C3, [256]],[-1, 1, Conv, [512, 3, 2]],  # 5-P4/16[-1, 9, C3, [512]],[-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32[-1, 3, C3, [1024]],[-1, 1, SPPF, [1024, 5]],  # 9]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]], #10[-1, 1, nn.ConvTranspose2d, [512, 2, 2, 0, 0, 512]], #11[ 6, 1, Conv, [256, 1,1]],  #12[ 4, 1, Conv, [128, 1,1]],  #13[-1, 1, Conv, [128, 3,2]],  #14[[11, 12, 14], 1, Concat, [1]],  # cat backbone P4  #15[-1, 1, Conv, [512, 1,1]],    # 16[-1, 3, C3  , [512, False]],  # 17[-1, 1, Conv, [256, 1, 1]],   # 18[-1, 1, nn.ConvTranspose2d, [256, 2, 2, 0, 0, 256]], #19[ 4, 1, Conv, [ 128, 1,1 ] ],  #20[ 2, 1, Conv, [ 64, 1,1 ] ],   #21[-1, 1, Conv, [ 64, 3,2 ] ],   #22[[19, 20, 22], 1, Concat, [1]],  #23  cat backbone P3[-1, 1, Conv, [256, 1,1]],    #24[-1, 3, C3  , [256, False]],  #25 out[-1, 1, Conv, [256, 3, 2]],   #26[[-1, 18], 1, Concat, [1]],   #27  cat head P4[-1, 3, C3  , [512, False]],  #28 out (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],   #29[[-1, 10], 1, Concat, [1]],   #30 cat head P5[-1, 3, C3  , [1024, False]], # 31 (P5/32-large)[[25, 28, 31], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

yolov5m-Bifusion.yaml

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# by迪菲赫尔曼 ,仅供学习交流,别tm倒卖!
# Parameters
nc: 80  # number of classes
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# YOLOv5 v6.0 backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2[-1, 1, Conv, [128, 3, 2]],  # 1-P2/4[-1, 3, C3, [128]],[-1, 1, Conv, [256, 3, 2]],  # 3-P3/8[-1, 6, C3, [256]],[-1, 1, Conv, [512, 3, 2]],  # 5-P4/16[-1, 9, C3, [512]],[-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32[-1, 3, C3, [1024]],[-1, 1, SPPF, [1024, 5]],  # 9]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]], #10[-1, 1, nn.ConvTranspose2d, [512, 2, 2, 0, 0, 512]], #11[ 6, 1, Conv, [256, 1,1]],  #12[ 4, 1, Conv, [128, 1,1]],  #13[-1, 1, Conv, [128, 3,2]],  #14[[11, 12, 14], 1, Concat, [1]],  # cat backbone P4  #15[-1, 1, Conv, [512, 1,1]],    # 16[-1, 3, C3  , [512, False]],  # 17[-1, 1, Conv, [256, 1, 1]],   # 18[-1, 1, nn.ConvTranspose2d, [256, 2, 2, 0, 0, 256]], #19[ 4, 1, Conv, [ 128, 1,1 ] ],  #20[ 2, 1, Conv, [ 64, 1,1 ] ],   #21[-1, 1, Conv, [ 64, 3,2 ] ],   #22[[19, 20, 22], 1, Concat, [1]],  #23  cat backbone P3[-1, 1, Conv, [256, 1,1]],    #24[-1, 3, C3  , [256, False]],  #25 out[-1, 1, Conv, [256, 3, 2]],   #26[[-1, 18], 1, Concat, [1]],   #27  cat head P4[-1, 3, C3  , [512, False]],  #28 out (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],   #29[[-1, 10], 1, Concat, [1]],   #30 cat head P5[-1, 3, C3  , [1024, False]], # 31 (P5/32-large)[[25, 28, 31], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

在这里插入图片描述

本代码仅供学习交流使用,切勿倒卖,转载请注明出处 !!

相关内容

热门资讯

常用商务英语口语   商务英语是以适应职场生活的语言要求为目的,内容涉及到商务活动的方方面面。下面是小编收集的常用商务...
六年级上册英语第一单元练习题   一、根据要求写单词。  1.dry(反义词)__________________  2.writ...
复活节英文怎么说 复活节英文怎么说?复活节的英语翻译是什么?复活节:Easter;"Easter,anniversar...
2008年北京奥运会主题曲 2008年北京奥运会(第29届夏季奥林匹克运动会),2008年8月8日到2008年8月24日在中华人...
英语道歉信 英语道歉信15篇  在日常生活中,道歉信的使用频率越来越高,通过道歉信,我们可以更好地解释事情发生的...
六年级英语专题训练(连词成句... 六年级英语专题训练(连词成句30题)  1. have,playhouse,many,I,toy,i...
上班迟到情况说明英语   每个人都或多或少的迟到过那么几次,因为各种原因,可能生病,可能因为交通堵车,可能是因为天气冷,有...
小学英语教学论文 小学英语教学论文范文  引导语:英语教育一直都是每个家长所器重的,那么有关小学英语教学论文要怎么写呢...
英语口语学习必看的方法技巧 英语口语学习必看的方法技巧如何才能说流利的英语? 说外语时,我们主要应做到四件事:理解、回答、提问、...
四级英语作文选:Birth ... 四级英语作文范文选:Birth controlSince the Chinese Governmen...
金融专业英语面试自我介绍 金融专业英语面试自我介绍3篇  金融专业的学生面试时,面试官要求用英语做自我介绍该怎么说。下面是小编...
我的李老师走了四年级英语日记... 我的李老师走了四年级英语日记带翻译  我上了五个学期的小学却换了六任老师,李老师是带我们班最长的语文...
小学三年级英语日记带翻译捡玉... 小学三年级英语日记带翻译捡玉米  今天,我和妈妈去外婆家,外婆家有刚剥的`玉米棒上带有玉米籽,好大的...
七年级英语优秀教学设计 七年级英语优秀教学设计  作为一位兢兢业业的人民教师,常常要写一份优秀的教学设计,教学设计是把教学原...
我的英语老师作文 我的英语老师作文(通用21篇)  在日常生活或是工作学习中,大家都有写作文的经历,对作文很是熟悉吧,...
英语老师教学经验总结 英语老师教学经验总结(通用19篇)  总结是指社会团体、企业单位和个人对某一阶段的学习、工作或其完成...
初一英语暑假作业答案 初一英语暑假作业答案  英语练习一(基础训练)第一题1.D2.H3.E4.F5.I6.A7.J8.C...
大学生的英语演讲稿 大学生的英语演讲稿范文(精选10篇)  使用正确的写作思路书写演讲稿会更加事半功倍。在现实社会中,越...
VOA美国之音英语学习网址 VOA美国之音英语学习推荐网址 美国之音网站已经成为语言学习最重要的资源站点,在互联网上还有若干网站...
商务英语期末试卷 Part I Term Translation (20%)Section A: Translate ...