《TensorRT深度学习模型部署实战》是一本专注于使用NVIDIA TensorRT进行高效深度学习模型优化与部署的技术书籍,适合AI开发者和研究人员提升生产环境下的模型性能。
现在为大家介绍一套新课程——深度学习-TensorRT模型部署实战。这套2022年4月推出的完整版视频教程包含代码与课件资源。
该课程分为四个部分:
第一部分:CUDA-驱动API精简,涵盖CUDA驱动API的使用、错误处理方法以及上下文管理技巧,并介绍其在开发中的位置和最佳实践。
第二部分:CUDA-运行时API精简。此章节将教授如何利用CUDA运行时API进行编程,重点在于简化操作并确保实用性。内容包括编写核函数以加速模型预处理(如仿射变换),掌握Yolov5后端处理的优化策略以及共享内存的应用技巧。
第三部分:TensorRT基础学习。这部分课程涵盖TensorRT的基础知识,包括如何编译和推理模型、使用ONNX解析器,并深入探讨ONNX结构及其编辑修改方法;同时还会讲解int8量化技术、插件开发流程及简化版插件开发策略以及动态shape的应用技巧。
第四部分:TensorRT高级应用。通过项目驱动的方式学习大量具体的深度学习案例,如分类器、目标检测等,掌握针对这些任务的封装技术和多线程技术,并了解框架设计的相关知识和技术细节。