NCNN-with-CUDA：NCNN框架新增CUDA功能（由腾讯开发）

简介：
NCNN-with-CUDA是由腾讯开发的一款优化版NCNN深度学习推理框架，新增了对CUDA的支持，大幅提升了模型在GPU上的运行效率。 该项目为著名的推理引擎实现了对NVIDIA CUDA的支持，使GPU可以在推理过程中发挥作用。许多在NVIDIA Jetson系列设备上运行的边缘人工智能项目可以从这种支持中获益。 目前，在CUDA中已经实现以下层：AbsVal、BatchNorm、Bias、BinaryOp、BNLL、Concat、卷积(Convolution)、ConvolutionDepthWise、裁剪(Crop)、展平(Flatten)、内部产品(InnerProduct)、输入(Input)、包装(Package)、填充(Padding)、合并(Relu)，重塑(Reshape)，Softmax，拆分(Split) 近期的发展计划包括实现Eltwise, HardSigmoid, HardSwish, Interp, Scale和Yolov3DetectionOutput层。此外，将进一步优化现有的CUDA层以期超过Vulkan的性能。 如果缺少某些CUDA层的支持，则在处理特定用例时可能会因CPU/GPU数据乒乓操作而降低执行速度。 Develop分支用于主动开发新功能或改进现有代码。