yolov5部署之七步完成tensorRT模型推理加速
目录 总结
前言
前段时间研究了的环境配置，之后便从上下载了的源码，并在自己的电脑端配置好对应的环境并运行，最后发现生成的权重文件.pt不仅可以通过量化压缩成onxx模型，而且还可以使用推理加速生成模型，这对使得模型部署在移动端具有很大的优势，于是便尝试着在自己的电脑上通过部署模型。
现在网上有很多可以参考的博客，但大多数都是针对某一个环节进行了仔细的解释说明，这在前期的学习中不免会让人产生云里雾里的感觉，难以从一个全局的角度去看待这个问题，换句话说就是很少有把整个流程先总结下来，先让我们知道需要那些模块，该准备些什么模块，以及这些模块之间又有什么样的联系，然后再细分到各个小模块去说明解释。所以今天就从这个角度去发出，总结一下最近学习的一些内容。
在此之前假设你已经掌握了、CUDA、cuDNN的基础知识以及配置好了的环境并调试运行过源码
注 :如果还没有掌握上述基础知识，可以参考另外两篇博文
1.深度学习之环境搭建
2.部署之环境配置及源码测试
首先整个过程分为以下7个步骤（模块）：
下面将从这个7个步骤，逐步进行解释，首先贴出我的环境：
代码版本：
git clone -b v3.0 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v3.0 https://github.com/wang-xinyu/tensorrtx.git
这里不得不说一下wang-xinyu的工作实在是太赞了！ 源码地址点这里
step 1. 下载源码以及源码，并将.pt转为.wts模型 step 2. 确定并下载自己准备使用的CUDA版本。
略
网址：cuda-
step 3. 根据自己的CUDA版本下载对应版本的cuDNN以及
略
网址： cudnn
step 4. 根据自己使用的VS版本下载对应版本的
略
step 5. 安装CUDA
安装cuda这里解答几点疑惑
我这里安装了两个cuda版本，所以有两个文件夹
step 6. 安装cuDNN、以及验证是否安装成功
1. 安装cuDNN
4步完成cuDNN安装
2. 安装
4步完成安装
3. 验证是否安装成功
第6步运行出现如下结果，则说明配置成功
注：如果提示没有.pgm文件，则检查第5步是否下载了数据
step 7. 下载Cmake软件，利用Cmake软件编译生成的VS工程，测试并完成推理
1. 下载Cmake软件
略
2. 配置环境变量
3. 修改//.txt文件中的和路径
注： .txt为生成VS工程的配置文件，源码为作者的路径，需要设置成自己的路径，主要是 和的路径
4. 利用Cmake软件编译生成的VS工程
注：配置时出现这样红色的警告忽略
注：最后一步生成报错也忽略，然后打开工程
5. 打开的VS工程，生成模型
最后打个广告，点个赞再走！
总结
在中间的过程中可能会出现以下问题：
如果想进一步将模型封装成dll供其他模块调用可以参考另一篇博文：
部署之dll封装并调用的方法
GIF图效果演示如下：
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
６６.如果需要封装远程技术支持请私信我
已帮助很多小伙伴实现了自己小项目
深夜跟小伙伴一起远程debug，虽然各种奇奇怪怪的报错，但也一起熬夜乐在其中
看到小伙伴的电脑上成功封装，并推理出结果，那一刻感觉互相所有的付出都是值得的，
#############################################################################
拓展
另推荐一门深蓝学院开设讲解模型加速的线上课程，可以对整体框架的细节理解和运用都能起到很好的帮助:
深度神经网络加速 cuDNN 与
技术交流扫码进群
