FP16 TensorRT: 基于API的TensorRT模型上的半精度推理示例

简介：
本文介绍了如何在基于API的TensorRT模型中实现和应用FP16（半精度）进行推理的方法与技巧，旨在优化计算性能。 这是使用C++ TensorRT API编写的TensorRT模型的工作示例，在半精度模式下运行推理。该模型支持全精度和半精度两种推断模式。 - demo.cpp：包含模型定义及推断代码。 - wts_gen_demo.py：将numpy数组的常规字典转换为TensorRT wts格式（包括全精度或半精度）。 - ./images：测试图像文件夹，用于运行推理操作。 - ./data：数据文件夹，内含泡菜字典格式和TensorRT wts格式的权重。 项目依赖关系： - OpenCV >= 2.4 - TensorRT RC 4.0.0.3 - CUDA 9.0 硬件要求：需要具有FP16支持的NVIDIA GPU。我们已在Tesla V100上进行了测试。